计算机学习实战

最新推荐文章于 2024-11-07 22:09:22 发布

vvvae1234

最新推荐文章于 2024-11-07 22:09:22 发布

阅读量1k

点赞数 17

文章标签：机器学习

本文链接：https://blog.csdn.net/vvvae1234/article/details/142765382

版权

在当今数据驱动的世界中，计算机学习（或称为机器学习）已成为各行业的一项重要技能。计算机学习结合了统计学、计算机科学和数据分析的技术，旨在让计算机能够通过数据来学习并做出决策。本指南将介绍计算机学习的基本概念、工具、方法，以及如何通过实际操作案例进行学习和实践，提高读者的兴趣。

1. 什么是计算机学习？

计算机学习是一种使计算机从数据中学习并进行预测的技术，通常不需要显式编写规则和逻辑。它包括若干子领域，如监督学习、无监督学习和强化学习。

1.1 监督学习与无监督学习

监督学习：算法从带有标签（标签即结果）的数据中学习，通常用于分类和回归任务。例如，给定一组特征（如房屋面积、卧室数量），预测房价。
无监督学习：从没有标签的数据中学习，通常用于聚类和降维任务。例如，根据用户行为对用户进行分组，而不需要先验标签。

1.2 常见算法

线性回归：用于回归任务，通过拟合一条直线来预测连续值。
决策树：一种基于特征划分的分类或回归模型。
支持向量机（SVM）：用于分类的算法，通过在特征空间中找到最佳边界。
K均值聚类：一种无监督学习算法，用于将数据集划分成K个聚类。

2. 环境准备

在实际操作计算机学习之前，需要安装和配置所需的环境。

2.1 Python 与包管理工具

计算机学习中，Python 是最流行的编程语言之一。确保你已经安装了 Python 和 pip（Python 的包管理工具）。

下载地址： Python官网

2.2 安装必要库

在命令行中，使用以下命令安装必备的计算机学习库：

pip install numpy pandas scikit-learn matplotlib seaborn jupyter

NumPy：提供支持数组和矩阵运算的功能。
Pandas：用于数据处理和分析的库。
Scikit-learn：一个强大的机器学习库，包含许多常用算法。
Matplotlib 和 Seaborn：用于数据可视化。
Jupyter：交互式笔记本，方便进行实验和可视化。

3. 实际操作案例：房价预测

本节将通过一个监督学习的实例，演示如何使用 Python 和 Scikit-learn 来预测房价。

3.1 数据集准备

我们将使用著名的波士顿房价数据集。这个数据集包含了波士顿地区的房屋特征及其对应的价格。使用 Scikit-learn 下载这个数据集：

from sklearn.datasets import load_boston
import pandas as pd

# 加载波士顿房价数据集
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df['PRICE'] = boston.target

# 显示数据集的前五行
print(df.head())

3.2 数据探索

在建模之前，首先要对数据集进行探索性分析，以了解数据的分布和特点。

import seaborn as sns
import matplotlib.pyplot as plt

# 查看价格分布
sns.histplot(df['PRICE'], bins=30, kde=True)
plt.title('房价分布')
plt.xlabel('价格')
plt.ylabel('频数')
plt.show()

# 观察特征之间的关系
sns.pairplot(df, x_vars=boston.feature_names, y_vars='PRICE', height=2.5)
plt.show()

3.3 数据预处理

数据预处理步骤包括划分训练集和测试集、特征缩放等。

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 划分训练集和测试集
X = df.drop('PRICE', axis=1)
y = df['PRICE']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

3.4 模型训练

我们将使用随机森林回归模型来预测房价。

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score

# 创建并训练模型
model = RandomForestRegressor(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 进行预测
y_pred = model.predict(X_test)

# 评估模型
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"均方误差: {mse:.2f}")
print(f"决定系数 R²: {r2:.2f}")

3.5 结果可视化

将预测结果与真实值进行比较，观察模型表现。

plt.scatter(y_test, y_pred)
plt.xlabel('真实房价')
plt.ylabel('预测房价')
plt.title('真实值与预测值比较')
plt.plot([min(y_test), max(y_test)], [min(y_test), max(y_test)], color='red')  # 45度线
plt.show()

4. 进阶应用：分类任务

接下来，我们通过一个分类任务示例，介绍数据分类的基本操作。

4.1 使用鸢尾花数据集

鸢尾花数据集是一个常用的分类数据集，包含120个样本的花瓣和萼片的特征。

from sklearn.datasets import load_iris

# 加载鸢尾花数据集
iris = load_iris()
iris_df = pd.DataFrame(data=iris.data, columns=iris.feature_names)
iris_df['species'] = iris.target
print(iris_df.head())

4.2 数据探索与可视化

同样，我们要给数据进行探索与可视化。

sns.pairplot(iris_df, hue='species')
plt.show()

4.3 划分数据集与模型训练

划分数据集，并选择 KNN 算法进行分类。

from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# 划分数据
X = iris_df.drop('species', axis=1)
y = iris_df['species']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建并训练 KNN 模型
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)

# 预测并评估模型
y_pred = knn.predict(X_test)
accuracy = knn.score(X_test, y_test)
print(f"KNN 模型的准确率: {accuracy:.2f}")

4.4 混淆矩阵

构建混淆矩阵以观察分类效果。

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

cm = confusion_matrix(y_test, y_pred)
ConfusionMatrixDisplay(cm, display_labels=iris.target_names).plot()
plt.title('混淆矩阵')
plt.show()

5. 深入了解模型调优

在机器学习中，模型调优是一个关键步骤，可以帮助提升模型性能。我们将在本节简单介绍如何使用网格搜索（Grid Search）进行超参数调优。

5.1 超参数调优

设定参数空间，并使用 GridSearchCV 来寻找最佳参数。

from sklearn.model_selection import GridSearchCV

# 定义参数空间
param_grid = {
    'n_neighbors': [3, 5, 7, 9],
    'weights': ['uniform', 'distance']
}

grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 获取最佳参数
print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳准确率: {grid_search.best_score_:.2f}")