白骑士的Python教学实战项目篇 4.3 机器学习入门

系列目录

上一篇：白骑士的Python教学实战项目篇 4.2 自动化脚本

机器学习的基本概念

        机器学习是一种通过数据训练模型，使计算机能够在没有明确编程指令的情况下进行预测和决策的技术。它是人工智能的一个子领域，旨在开发能够从数据中学习和改进性能的算法。机器学习的基本概念包括以下几个方面：

1. 数据集：机器学习模型依赖于数据集进行训练和测试。数据集通常分为训练集和测试集，用于分别训练模型和评估模型的性能。
2. 特征与标签：在机器学习中，特征是输入变量，用于描述数据的属性，而标签是目标变量，表示我们希望预测的结果。例如，在房价预测中，房屋的面积、房龄等是特征，而房价是标签。
3. 模型：模型是通过学习数据中的模式和关系来进行预测的数学表示。常见的机器学习模型包括线性回归、决策树、支持向量机、神经网络等。
4. 训练与测试：训练是指通过数据集调整模型参数的过程，使模型能够学习数据中的模式。测试是指使用未见过的数据评估模型性能，以判断模型的泛化能力。
5. 评估指标：常见的评估指标包括准确率、精确率、召回率、F1分数、均方误差等，用于衡量模型在测试集上的表现。
6. 过拟合与欠拟合：过拟合是指模型在训练集上表现很好，但在测试集上表现不佳，说明模型学到了训练集的噪声。欠拟合是指模型在训练集和测试集上都表现不佳，说明模型没有学到数据中的模式。
7. 正则化：正则化是一种防止过拟合的技术，通过在损失函数中加入惩罚项来约束模型的复杂度，常见的正则化方法包括L1和L2正则化。

使用Scikit-Learn进行简单模型训练

        Scikit-Learn是Python中一个强大的机器学习库，提供了丰富的机器学习算法和工具，适用于数据预处理、模型训练、模型评估等各个环节。下面我们将使用Scikit-Learn进行一个简单的分类模型训练。

        首先，我们需要安装Scikit-Learn库，可以使用以下命令安装：

pip install scikit-learn

        接下来，我们使用Scikit-Learn的内置数据集之一——鸢尾花数据集（Iris Dataset）来训练一个分类模型。鸢尾花数据集包含150个样本，每个样本有4个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度），以及3个分类标签（Setosa、Versicolour、Virginica）。

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, classification_report


# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target

# 数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 数据标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 使用逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 模型预测
y_pred = model.predict(X_test)

# 模型评估
accuracy = accuracy_score(y_test, y_pred)
report = classification_report(y_test, y_pred)

print(f"Accuracy: {accuracy}")
print("Classification Report:")
print(report)

        在这个示例中，我们首先加载了鸢尾花数据集，然后将数据集划分为训练集和测试集。接着，我们对数据进行标准化处理，以使特征具有相同的尺度。然后，我们使用逻辑回归模型进行训练，并在测试集上进行预测，最后输出模型的准确率和分类报告。

项目实践：实现一个简单的分类模型

        为了更好地理解机器学习模型的训练过程，我们将实现一个完整的分类项目。在这个项目中，我们将使用一个新的数据集，步骤包括数据预处理、模型训练、模型评估和结果可视化。

步骤1：加载和探索数据集

        首先，我们选择一个常用的数据集——威斯康星乳腺癌数据集（Breast Cancer Wisconsin Dataset），该数据集包含569个样本，每个样本有30个特征，目标是预测每个样本是良性（Benign）还是恶性（Malignant），代码如下：

import pandas as pd
from sklearn.datasets import load_breast_cancer


# 加载数据集
data = load_breast_cancer()
df = pd.DataFrame(data.data, columns=data.feature_names)
df['target'] = data.target

# 数据集概览
print(df.head())
print(df.info())
print(df.describe())

步骤2：数据预处理

        在数据预处理阶段，我们需要检查数据集是否有缺失值，并对数据进行标准化处理，代码如下：

# 检查是否有缺失值
print(df.isnull().sum())

# 数据标准化
X = df.drop('target', axis=1)
y = df['target']
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

步骤3：模型训练

        接下来，我们将数据集划分为训练集和测试集，并使用逻辑回归模型进行训练，代码如下：

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression


# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)

# 模型训练
model = LogisticRegression(max_iter=10000)
model.fit(X_train, y_train)

步骤4：模型评估

        训练完成后，我们在测试集上评估模型的性能，代码如下：

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report


# 模型预测
y_pred = model.predict(X_test)

# 模型评估
accuracy = accuracy_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)
report = classification_report(y_test, y_pred)

print(f"Accuracy: {accuracy}")
print("Confusion Matrix:")
print(conf_matrix)
print("Classification Report:")
print(report)

步骤5：结果可视化

        最后，我们对结果进行可视化，以便更直观地理解模型的性能，代码如下：

import matplotlib.pyplot as plt
import seaborn as sns


# 混淆矩阵可视化
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=data.target_names, yticklabels=data.target_names)

plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix')
plt.show()

总结

        通过以上步骤，我们完成了一个简单的分类模型的实现。这个项目展示了机器学习的基本流程，包括数据加载与探索、数据预处理、模型训练、模型评估和结果可视化。通过这个项目的实践，你可以更深入地理解机器学习的概念和方法，为进一步学习更复杂的机器学习技术打下基础。

下一篇：白骑士的Python教学附加篇 5.1 Python开发工具​​​​​​​