sklearn基础教程 和示例

Scikit-learn（sklearn）是一个基于Python的简单而高效的工具，用于数据挖掘和数据分析。它构建于NumPy、SciPy和matplotlib之上，并且可以方便地与这些库集成。下面是一个详细的sklearn基础教程，涵盖了其主要功能和使用方法。

1. 安装Scikit-learn

在开始使用scikit-learn之前，需要确保已经安装了它及其依赖项：

pip install scikit-learn

2. 导入scikit-learn

在使用scikit-learn时，首先需要导入相关模块：

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

3. 数据准备

scikit-learn可以处理多种数据格式，包括NumPy数组、Pandas DataFrame和稀疏矩阵。首先，准备数据：

# 创建一个示例数据集
from sklearn.datasets import load_boston

# 加载数据
boston = load_boston()
X = pd.DataFrame(boston.data, columns=boston.feature_names)
y = pd.Series(boston.target)

4. 数据预处理

在进行建模之前，通常需要对数据进行预处理，比如拆分数据集、标准化数据等。

4.1 拆分数据集

将数据集分为训练集和测试集：

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4.2 标准化数据

对特征进行标准化，使其均值为0，方差为1：

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

5. 构建和训练模型

选择一个机器学习模型并进行训练。这里以线性回归为例：

model = LinearRegression()
model.fit(X_train_scaled, y_train)

6. 模型预测

使用训练好的模型进行预测：

y_pred = model.predict(X_test_scaled)

7. 模型评估

使用适当的指标评估模型性能：

mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f'Mean Squared Error: {mse}')
print(f'R^2 Score: {r2}')

8. 常用模型和方法

scikit-learn提供了丰富的机器学习算法，包括分类、回归、聚类等。以下是一些常用的模型和方法。

8.1 分类

• 逻辑回归：

• from sklearn.linear_model import LogisticRegression
  
  clf = LogisticRegression()
  clf.fit(X_train_scaled, y_train)
  

  支持向量机：

• from sklearn.svm import SVC
  
  svc = SVC()
  svc.fit(X_train_scaled, y_train)
  

  8.2 回归

  • 线性回归：

  • from sklearn.linear_model import LinearRegression
    
    lr = LinearRegression()
    lr.fit(X_train_scaled, y_train)
    

  • 决策树回归：

  • from sklearn.tree import DecisionTreeRegressor
    
    tree = DecisionTreeRegressor()
    tree.fit(X_train_scaled, y_train)
    

• 8.3 聚类

  • K均值聚类：

  • from sklearn.cluster import KMeans
    
    kmeans = KMeans(n_clusters=3)
    kmeans.fit(X_train_scaled)
    

• 8.4 降维

  • 主成分分析 (PCA)：

  • from sklearn.decomposition import PCA
    
    pca = PCA(n_components=2)
    X_pca = pca.fit_transform(X_train_scaled)
    

9. 模型选择和超参数调优

使用交叉验证和网格搜索进行模型选择和超参数调优：

from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf']}
grid = GridSearchCV(SVC(), param_grid, cv=5)
grid.fit(X_train_scaled, y_train)

print(f'Best Parameters: {grid.best_params_}')

 

10. 总结

scikit-learn 是一个功能强大且易于使用的机器学习库，适用于各种数据分析和建模任务。从数据预处理到模型构建、评估和调优，scikit-learn 提供了一整套工具，帮助用户快速构建和评估机器学习模型。通过学习和掌握这些基本技能，你可以更好地应用机器学习技术来解决实际问题。

          

示例项目：房价预测

将以上步骤整合在一个示例项目中：

import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 加载数据
boston = load_boston()
X = pd.DataFrame(boston.data, columns=boston.feature_names)
y = pd.Series(boston.target)

# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 标准化数据
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 训练模型
model = LinearRegression()
model.fit(X_train_scaled, y_train)

# 预测
y_pred = model.predict(X_test_scaled)

# 评估
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f'Mean Squared Error: {mse}')
print(f'R^2 Score: {r2}')