Python与机器学习库Scikit-learn实战

master_chenchengg

于 2024-09-29 03:42:05 发布

阅读量456

点赞数 2

分类专栏： python 文章标签： python Python python开发 IT

本文链接：https://blog.csdn.net/master_chenchen/article/details/142625337

版权

python 专栏收录该内容

271 篇文章 2 订阅

订阅专栏

在这里插入图片描述

Python与机器学习库Scikit-learn实战

一、开启魔法之旅：初识Scikit-learn

从零开始：为什么选择Scikit-learn作为你的机器学习伙伴

想象一下，你是一位魔法师，而数据就是你的魔法材料。在众多的魔法书中，Scikit-learn就像是《哈利·波特》中的《高级魔药制作》，它不仅包含了丰富的配方（算法），还有详细的步骤指导，让你能够轻松地将这些魔法材料变成强大的魔药（模型）。Scikit-learn以其简洁的API设计、丰富的文档支持和高效的性能，在机器学习社区中享有盛誉。无论是初学者还是经验丰富的从业者，都能从中受益匪浅。

快速入门：安装Scikit-learn并运行第一个模型

要开始这段魔法旅程，我们首先需要确保我们的魔法工具箱里有Scikit-learn这个法宝。你可以通过pip命令来安装它：

pip install scikit-learn

接下来，让我们用一个简单的例子来体验一下Scikit-learn的魅力。我们将使用Iris数据集来进行分类任务，这是一个非常经典的数据集，包含三种不同类型的鸢尾花以及它们的四个特征值。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建K近邻分类器
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)

# 预测
y_pred = knn.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率为: {accuracy * 100:.2f}%")

这段代码展示了如何加载数据、划分数据集、训练模型以及评估模型。通过几行简单的代码，我们就能够完成一个基本的机器学习流程。

探索宝藏：Scikit-learn的主要功能和模块介绍

Scikit-learn就像一座藏宝阁，里面装满了各种各样的宝藏（算法和工具）。主要可以分为以下几个部分：

数据预处理：包括数据标准化、归一化等功能。
监督学习：提供多种分类和回归算法，如线性模型、支持向量机等。
无监督学习：聚类、降维等方法帮助发现数据中的潜在结构。
模型选择与评估：交叉验证、网格搜索等工具帮助找到最佳模型参数。
实用工具：包括数据生成器、评估指标计算等辅助功能。

二、数据准备的艺术：让数据为模型做好准备

数据清洗小能手：处理缺失值、异常值及重复记录

数据清洗是整个数据分析过程中的重要环节。如果数据不干净，那么即使是最先进的模型也可能无法发挥其应有的效果。下面是一些常见的数据清洗技巧：

处理缺失值：可以通过删除含有缺失值的行或列，或者填充缺失值来处理。
处理异常值：识别并移除那些明显偏离正常范围的数据点。
去重：检查并移除重复的记录，以避免对结果造成不必要的影响。

import pandas as pd
import numpy as np

# 创建示例数据
data = {
    'A': [1, 2, None, 4, 5],
    'B': [6, 7, 8, 9, 10],
    'C': [None, 12, 13, 14, 15]
}

df = pd.DataFrame(data)

# 处理缺失值
df.fillna(df.mean(), inplace=True)  # 用均值填充缺失值

# 检查异常值
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1
df = df[~((df < (Q1 - 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR))).any(axis=1)]

# 去重
df.drop_duplicates(inplace=True)

print(df)

特征工程大师班：特征选择、转换与创建新特征

特征工程就好比厨师烹饪前的食材准备。好的食材可以让菜肴更加美味，同样，高质量的特征可以使模型表现得更好。这包括了特征选择、特征转换以及创造新的特征。

特征选择：选择对目标变量最有影响力的特征。
特征转换：比如将类别型特征转换成数值型特征。
创造新特征：根据现有特征创建新的组合特征。

from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.preprocessing import OneHotEncoder

# 特征选择
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

# 特征转换
encoder = OneHotEncoder(sparse=False)
encoded_features = encoder.fit_transform(df[['category_column']])

# 创建新特征
df['new_feature'] = df['feature1'] * df['feature2']

标准化与归一化：让你的数据站在同一起跑线上

为了让不同的特征具有可比性，我们需要对数据进行标准化或归一化处理。标准化通常指的是将数据转换为均值为0、标准差为1的标准正态分布；而归一化则是将数据缩放到某个特定区间内，如[0, 1]。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 归一化
normalizer = MinMaxScaler()
X_normalized = normalizer.fit_transform(X)

三、分类问题攻略：用Scikit-learn解决实际问题

分类器大比拼：探索不同的分类算法

Scikit-learn提供了多种分类算法，每种都有其独特的优点和适用场景。这里我们将介绍几种常用的分类算法：

K近邻（KNN）：基于距离度量来判断新样本属于哪一类。
决策树：通过一系列规则来决定分类。
随机森林：由多个决策树组成的集成学习方法，提高了预测的稳定性和准确性。

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

# 决策树
dtc = DecisionTreeClassifier(random_state=42)
dtc.fit(X_train, y_train)
y_pred_dtc = dtc.predict(X_test)
print(f"决策树准确率: {accuracy_score(y_test, y_pred_dtc) * 100:.2f}%")

# 随机森林
rfc = RandomForestClassifier(n_estimators=100, random_state=42)
rfc.fit(X_train, y_train)
y_pred_rfc = rfc.predict(X_test)
print(f"随机森林准确率: {accuracy_score(y_test, y_pred_rfc) * 100:.2f}%")

模型评估不迷路：准确率、召回率、F1分数等指标解析

在分类问题中，除了准确率之外，还有很多其他重要的评估指标。例如：

召回率（Recall）：表示所有真实正例中有多少被正确预测为正例。
精确率（Precision）：表示所有预测为正例中有多少是真的正例。
F1分数：综合考虑了精确率和召回率的一个平衡指标。

from sklearn.metrics import classification_report

# 打印详细报告
report = classification_report(y_test, y_pred_rfc)
print(report)

实战案例分享：使用真实数据集训练一个文本分类器

假设我们要构建一个垃圾邮件过滤系统。我们可以使用sklearn内置的fetch_20newsgroups数据集来模拟这一场景。

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB

# 加载数据
categories = ['alt.atheism', 'soc.religion.christian', 'comp.graphics', 'sci.med']
twenty_train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42)

# 特征提取
vectorizer = TfidfVectorizer()
X_train_tfidf = vectorizer.fit_transform(twenty_train.data)

# 训练朴素贝叶斯分类器
clf = MultinomialNB().fit(X_train_tfidf, twenty_train.target)

# 测试数据
twenty_test = fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42)
X_test_tfidf = vectorizer.transform(twenty_test.data)

# 预测
predicted = clf.predict(X_test_tfidf)
print(f"朴素贝叶斯分类器准确率: {np.mean(predicted == twenty_test.target) * 100:.2f}%")

四、回归分析秘籍：预测连续数值的奥秘

回归算法巡礼：线性回归、岭回归和支持向量机回归等

回归分析用于预测连续数值的目标变量。Scikit-learn提供了多种回归算法，包括但不限于：

线性回归：最基本的回归方法，假设目标变量与特征之间存在线性关系。
岭回归：在线性回归的基础上加入L2正则化项，防止过拟合。
支持向量机回归：利用支持向量机的思想来进行回归任务。

from sklearn.linear_model import LinearRegression, Ridge
from sklearn.svm import SVR

# 线性回归
lr = LinearRegression()
lr.fit(X_train, y_train)
y_pred_lr = lr.predict(X_test)
print(f"线性回归R^2得分: {lr.score(X_test, y_test):.2f}")

# 岭回归
ridge = Ridge(alpha=1.0)
ridge.fit(X_train, y_train)
y_pred_ridge = ridge.predict(X_test)
print(f"岭回归R^2得分: {ridge.score(X_test, y_test):.2f}")

# 支持向量机回归
svr = SVR(kernel='linear')
svr.fit(X_train, y_train)
y_pred_svr = svr.predict(X_test)
print(f"SVM回归R^2得分: {svr.score(X_test, y_test):.2f}")

交叉验证的重要性：确保模型的泛化能力

为了确保模型不仅在训练集上表现良好，还能在未见过的数据上取得好成绩，我们需要使用交叉验证技术。交叉验证通过将数据划分为多个子集，并在每个子集上分别训练和测试模型，从而更可靠地估计模型的性能。

from sklearn.model_selection import cross_val_score

# 使用交叉验证评估线性回归模型
scores = cross_val_score(lr, X, y, cv=5)
print(f"交叉验证平均得分: {scores.mean():.2f} (+/- {scores.std() * 2:.2f})")

手把手教你：构建房价预测模型并优化其性能

现在，让我们动手构建一个房价预测模型。我们将使用波士顿房价数据集，并尝试通过调整超参数来优化模型性能。

from sklearn.datasets import load_boston
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

# 加载数据
boston = load_boston()
X, y = boston.data, boston.target

# 创建管道
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('regressor', Ridge())
])

# 定义参数网格
param_grid = {
    'regressor__alpha': [0.1, 1.0, 10.0]
}

# 网格搜索
grid = GridSearchCV(pipe, param_grid, cv=5)
grid.fit(X, y)

# 最佳模型
best_model = grid.best_estimator_
print(f"最佳参数: {grid.best_params_}")
print(f"最佳模型得分: {grid.best_score_:.2f}")

五、无监督学习的魅力：发现数据中的隐藏结构

聚类算法探秘：K均值聚类、层次聚类的应用场景

无监督学习可以帮助我们发现数据中的内在模式和结构。聚类是一种常见的无监督学习方法，它可以将相似的数据点聚集在一起。常见的聚类算法包括：

K均值聚类：通过迭代的方式将数据分成K个簇。
层次聚类：构建一棵树状图，展示数据点之间的层级关系。

from sklearn.cluster import KMeans, AgglomerativeClustering

# K均值聚类
kmeans = KMeans(n_clusters=3, random_state=42)
kmeans.fit(X)
labels_kmeans = kmeans.labels_

# 层次聚类
hierarchical = AgglomerativeClustering(n_clusters=3)
labels_hierarchical = hierarchical.fit_predict(X)

主成分分析(PCA)：降维技术帮你简化复杂数据

当面对高维度数据时，主成分分析（PCA）是一个非常有用的工具。它能够将数据投影到较低维度的空间中，同时尽可能保留原始数据的信息。

from sklearn.decomposition import PCA

# 应用PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# 查看解释方差比
print(f"解释方差比: {pca.explained_variance_ratio_}")

真实世界应用：通过顾客分群来提升市场营销策略

假设你是一家电商公司的数据分析师，你需要根据顾客的历史购买行为将他们分成不同的群体，以便制定个性化的营销策略。

# 假设X是顾客购买行为数据
kmeans = KMeans(n_clusters=4, random_state=42)
customer_segments = kmeans.fit_predict(X)

# 输出每个顾客所属的群体
for i, segment in enumerate(customer_segments):
    print(f"顾客{i+1}属于群体{segment+1}")

六、模型调优进阶：寻找最佳超参数组合

网格搜索与随机搜索：系统地寻找最优配置

超参数的选择对于模型性能至关重要。Scikit-learn提供了两种常用的超参数搜索方法：网格搜索和随机搜索。

网格搜索：遍历指定的所有超参数组合，找到最佳配置。
随机搜索：随机选取超参数组合进行评估，节省时间但可能错过最佳配置。

from sklearn.model_selection import RandomizedSearchCV

# 定义参数分布
param_dist = {
    'regressor__alpha': [0.1, 1.0, 10.0, 100.0],
    'regressor__fit_intercept': [True, False]
}

# 随机搜索
random_search = RandomizedSearchCV(pipe, param_distributions=param_dist, n_iter=10, cv=5)
random_search.fit(X, y)

# 最佳模型
best_random_model = random_search.best_estimator_
print(f"随机搜索最佳参数: {random_search.best_params_}")
print(f"随机搜索最佳模型得分: {random_search.best_score_:.2f}")

使用Pipeline简化工作流程：链式操作让代码更整洁

Pipeline是一种非常有用的功能，它可以将多个处理步骤串联起来，形成一个流水线。这样不仅可以简化代码，还可以确保数据在不同阶段的一致性。

from sklearn.pipeline import make_pipeline

# 创建管道
pipeline = make_pipeline(StandardScaler(), Ridge())

# 训练模型
pipeline.fit(X_train, y_train)

# 预测
y_pred_pipeline = pipeline.predict(X_test)
print(f"Pipeline R^2得分: {pipeline.score(X_test, y_test):.2f}")

避免过拟合：正则化方法与早停策略详解

过拟合是指模型在训练数据上表现很好，但在新数据上表现不佳的现象。为了避免过拟合，我们可以采用以下几种方法：

正则化：在损失函数中加入惩罚项，限制模型复杂度。
早停：在验证集上的性能不再提高时停止训练。

from sklearn.model_selection import train_test_split, learning_curve

# 划分训练集和验证集
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

# 早停策略
max_epochs = 100
best_val_loss = float('inf')
best_epoch = 0
for epoch in range(max_epochs):
    model.fit(X_train, y_train)
    val_loss = model.score(X_val, y_val)
    
    if val_loss < best_val_loss:
        best_val_loss = val_loss
        best_epoch = epoch
    else:
        break

print(f"最佳epoch: {best_epoch}, 最佳验证损失: {best_val_loss:.2f}")

七、Scikit-learn之外的世界：与其他Python库的结合使用

Pandas与NumPy：强大的数据处理支持

Pandas和NumPy是两个非常强大的数据处理库，它们可以与Scikit-learn无缝对接，提供高效的数据操作和预处理功能。

Pandas：提供了DataFrame结构，方便地处理表格数据。
NumPy：提供了高性能的多维数组对象，支持大量的数学运算。

import pandas as pd
import numpy as np

# 使用Pandas读取CSV文件
df = pd.read_csv('data.csv')

# 使用NumPy进行矩阵运算
matrix = np.array([[1, 2], [3, 4]])
result = np.dot(matrix, matrix)
print(result)

Matplotlib与Seaborn：美观的数据可视化工具

数据可视化是数据分析过程中不可或缺的一部分。Matplotlib和Seaborn是两个广泛使用的绘图库，可以帮助我们更好地理解数据。

Matplotlib：提供了基础的绘图功能。
Seaborn：基于Matplotlib，提供了更多高级的统计图表。

import matplotlib.pyplot as plt
import seaborn as sns

# 绘制散点图
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Scatter Plot')
plt.show()

# 绘制热力图
sns.heatmap(df.corr(), annot=True)
plt.show()

TensorFlow与Keras：深度学习框架如何与Scikit-learn互补

虽然Scikit-learn主要专注于传统机器学习算法，但它也可以与深度学习框架如TensorFlow和Keras很好地配合。例如，我们可以使用Scikit-learn的接口来封装和评估深度学习模型。

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.wrappers.scikit_learn import KerasRegressor
from sklearn.model_selection import cross_val_score

# 定义神经网络模型
def build_model():
    model = Sequential([
        Dense(64, activation='relu', input_dim=X.shape[1]),
        Dense(64, activation='relu'),
        Dense(1)
    ])
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

# 封装为Scikit-learn的Estimator
keras_regressor = KerasRegressor(build_fn=build_model, epochs=10, batch_size=10, verbose=0)

# 交叉验证
scores = cross_val_score(keras_regressor, X, y, cv=5)
print(f"神经网络交叉验证平均得分: {scores.mean():.2f} (+/- {scores.std() * 2:.2f})")

通过上述内容，我们已经全面了解了如何使用Scikit-learn进行机器学习实战。无论你是初学者还是有一定经验的开发者，希望这篇文章能够为你提供宝贵的参考和启示。祝你在机器学习的旅途中不断进步！

嘿！欢迎光临我的小小博客天地——这里就是咱们畅聊的大本营！能在这儿遇见你真是太棒了！我希望你能感受到这里轻松愉快的氛围，就像老朋友围炉夜话一样温馨。

这里不仅有好玩的内容和知识等着你，还特别欢迎你畅所欲言，分享你的想法和见解。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。
让我们一起探索新奇的事物，分享生活的点滴，让这个小角落成为我们共同的精神家园。快来一起加入这场精彩的对话吧！无论你是新手上路还是资深玩家，这里都有你的位置。记得在评论区留下你的足迹，让我们彼此之间的交流更加丰富多元。期待与你共同创造更多美好的回忆！

欢迎来鞭笞我：master_chenchen

【内容介绍】

【算法提升】：算法思维提升，大厂内卷，人生无常，大厂包小厂，呜呜呜。卷到最后大家都是地中海。
【sql数据库】：当你在海量数据中迷失方向时，SQL就像是一位超级英雄，瞬间就能帮你定位到宝藏的位置。快来和这位神通广大的小伙伴交个朋友吧！
【微信小程序知识点】：小程序已经渗透我们生活的方方面面，学习了解微信小程序开发是非常有必要的，这里将介绍微信小程序的各种知识点与踩坑记录。- 【python知识】：它简单易学，却又功能强大，就像魔术师手中的魔杖，一挥就能变出各种神奇的东西。Python，不仅是代码的艺术，更是程序员的快乐源泉！
【AI技术探讨】：学习AI、了解AI、然后被AI替代、最后被AI使唤（手动狗头）

好啦，小伙伴们，今天的探索之旅就到这里啦！感谢你们一路相伴，一同走过这段充满挑战和乐趣的技术旅程。如果你有什么想法或建议，记得在评论区留言哦！要知道，每一次交流都是一次心灵的碰撞，也许你的一个小小火花就能点燃我下一个大大的创意呢！
最后，别忘了给这篇文章点个赞，分享给你的朋友们，让更多的人加入到我们的技术大家庭中来。咱们下次再见时，希望能有更多的故事和经验与大家分享。记住，无论何时何地，只要心中有热爱，脚下就有力量！

对了，各位看官，小生才情有限，笔墨之间难免会有不尽如人意之处，还望多多包涵，不吝赐教。咱们在这个小小的网络世界里相遇，真是缘分一场！我真心希望能和大家一起探索、学习和成长。虽然这里的文字可能不够渊博，但也希望能给各位带来些许帮助。如果发现什么问题或者有啥建议，请务必告诉我，让我有机会做得更好！感激不尽，咱们一起加油哦！

那么，今天的分享就到这里了，希望你们喜欢。接下来的日子里，记得给自己一个大大的拥抱，因为你真的很棒！咱们下次见，愿你每天都有好心情，技术之路越走越宽广！