Sklearn 深入教程

爱分享的码瑞哥

于 2024-06-26 19:11:25 发布

阅读量490

点赞数 5

文章标签：深入Scikit-learn：掌握Python最强大的机器学习库

本文链接：https://blog.csdn.net/power_9/article/details/139996593

版权

Sklearn 深入教程

Scikit-learn（sklearn）是Python中功能强大且广泛使用的机器学习库。本教程将深入探讨sklearn中的高级主题，涵盖高级数据预处理、高级特征工程、复杂模型调参、高级集成学习、模型持久化与部署等内容。

高级数据预处理

复杂数据变换

在实际应用中，数据通常需要复杂的变换才能适应模型的需求。sklearn中的ColumnTransformer可以帮助我们同时处理数值和类别特征。

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
import pandas as pd

# 创建数据
data = pd.DataFrame({
    'numerical_feature': [1, 2, 3, 4],
    'categorical_feature': ['A', 'B', 'A', 'B']
})

# 定义变换器
preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), ['numerical_feature']),
        ('cat', OneHotEncoder(), ['categorical_feature'])
    ])

# 变换数据
data_transformed = preprocessor.fit_transform(data)
print(data_transformed)

生成多项式特征

多项式特征可以提升线性模型的表现。sklearn中的PolynomialFeatures可以方便地生成多项式特征。

from sklearn.preprocessing import PolynomialFeatures

# 创建数据
X = np.array([[2, 3], [3, 4], [4, 5]])

# 生成多项式特征
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
print(X_poly)

自定义转换器

有时我们需要进行一些特殊的数据变换，这时可以定义自定义转换器。

from sklearn.base import BaseEstimator, TransformerMixin

class CustomTransformer(BaseEstimator, TransformerMixin):
    def __init__(self, factor=2):
        self.factor = factor
    
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        return X * self.factor

# 使用自定义转换器
transformer = CustomTransformer(factor=3)
data_transformed = transformer.fit_transform(data[['numerical_feature']])
print(data_transformed)

高级特征工程

特征选择算法

除了基本的特征选择方法，sklearn还提供了基于模型的重要性进行特征选择的功能。

from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import SelectFromModel

# 加载数据
X, y = load_iris(return_X_y=True)

# 使用随机森林进行特征选择
clf = RandomForestClassifier()
clf.fit(X, y)

selector = SelectFromModel(clf, prefit=True)
X_new = selector.transform(X)
print("Selected Features Shape:", X_new.shape)

特征提取方法

除了PCA，sklearn还提供了其他特征提取方法，如LDA（线性判别分析）。

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

# 使用LDA进行特征提取
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X, y)
print("LDA Features Shape:", X_lda.shape)

复杂模型调参

随机搜索

网格搜索在参数空间较大时会很耗时，随机搜索是一个高效的替代方法。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint

# 定义参数分布
param_dist = {'n_estimators': randint(50, 200), 'max_depth': randint(2, 10)}

# 随机搜索
random_search = RandomizedSearchCV(clf, param_distributions=param_dist, n_iter=10, cv=5)
random_search.fit(X, y)
print("Best Parameters:", random_search.best_params_)

贝叶斯优化

贝叶斯优化是一种先进的优化技术，可以更高效地找到最佳参数。

from skopt import BayesSearchCV

# 定义参数搜索空间
param_space = {'n_estimators': (50, 200), 'max_depth': (2, 10)}

# 贝叶斯优化
bayes_search = BayesSearchCV(clf, search_spaces=param_space, n_iter=10, cv=5)
bayes_search.fit(X, y)
print("Best Parameters:", bayes_search.best_params_)

高级集成学习

堆叠模型

堆叠模型通过组合多个模型的输出作为输入来训练一个更强的模型。

from sklearn.ensemble import StackingClassifier

# 定义基础模型
base_learners = [
    ('rf', RandomForestClassifier(n_estimators=50)),
    ('gb', GradientBoostingClassifier(n_estimators=50))
]

# 堆叠分类器
stacking_clf = StackingClassifier(estimators=base_learners, final_estimator=LogisticRegression())
stacking_clf.fit(X_train, y_train)
y_pred = stacking_clf.predict(X_test)
print("Stacking Model Predictions:", y_pred)

多模型融合

多模型融合通过加权平均多个模型的预测结果来提高预测的稳定性。

from sklearn.ensemble import VotingClassifier

# 多模型融合
voting_clf = VotingClassifier(estimators=base_learners, voting='soft')
voting_clf.fit(X_train, y_train)
y_pred = voting_clf.predict(X_test)
print("Voting Classifier Predictions:", y_pred)

模型持久化与部署

模型持久化

训练好的模型可以使用joblib或pickle进行保存，以便后续使用。

import joblib

# 模型保存
joblib.dump(stacking_clf, 'stacking_model.pkl')

# 模型加载
loaded_model = joblib.load('stacking_model.pkl')
y_pred_loaded = loaded_model.predict(X_test)
print("Loaded Model Predictions:", y_pred_loaded)

模型部署

模型可以通过API进行部署，常见的方法是使用Flask或FastAPI。

from flask import Flask, request, jsonify
import joblib

app = Flask(__name__)

# 加载模型
model = joblib.load('stacking_model.pkl')

@app.route('/predict', methods=['POST'])
def predict():
    data = request.get_json(force=True)
    prediction = model.predict([data['features']])
    return jsonify({'prediction': prediction.tolist()})

if __name__ == '__main__':
    app.run(port=5000, debug=True)