Ensemble Learning Task 2

Ensemble Learning Task 2
学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning

Task 2 的主要学习内容是 使用sklearn构建完整的回归项目

1. 收集数据集并选择合适的特征
2. 选择度量模型性能的指标
3. 选择具体的模型并进行训练

一般来说，一个完整的机器学习项目分为以下步骤：

• 明确项目任务：回归/分类
• 收集数据集并选择合适的特征。
• 选择度量模型性能的指标。
• 选择具体的模型并进行训练以优化模型。
• 评估模型的性能并调参。这里是引用

1. 数据和特征构建：数据我们使用的是Boston房价预测数据集，通过对data, target, feature_names等数据的调用和组合，构造了用于训练的数据
2. 模型度量指标：

• MSE均方误差：$\text{MSE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}(y_i-{\hat{y}}_i{)}^2.$
• MAE平均绝对误差:$\text{MAE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}\left|y_i-{\hat{y}}_i\right|$
• $R^2$决定系数：$R^2(y,\hat{y})=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$
• 解释方差得分: e x p l a i n e d _ v a r i a n c e ( y , y ^ ) = 1 − V a r { y − y ^ } V a r { y } explained\_{}variance(y, \hat{y}) = 1 - \frac{Var\{ y - \hat{y}\}}{Var\{y\}} explained_variance(y,y^​)=1−Var{y}Var{y−y^​}​

本案例使用的是MSE均方误差为模型进行性能度量。

3. 模型训练
   模型训练部分介绍了几种常用的模型：

• 线性回归

from sklearn import linear_model      # 引入线性回归方法
lin_reg = linear_model.LinearRegression()       # 创建线性回归的类
lin_reg.fit(X,y)        # 输入特征X和因变量y进行训练
print("模型系数：",lin_reg.coef_)             # 输出模型的系数
print("模型得分：",lin_reg.score(X,y))    # 输出模型的决定系数R^2

• 回归树

from pygam import LinearGAM
gam = LinearGAM().fit(boston_data[boston.feature_names], y)
gam.summary()

• 支持向量机回归(SVR)

from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler     # 标准化数据
from sklearn.pipeline import make_pipeline   # 使用管道，把预处理和模型形成一个流程

reg_svr = make_pipeline(StandardScaler(), SVR(C=1.0, epsilon=0.2))
reg_svr.fit(X, y)
reg_svr.score(X,y)

后续会学习基础模型的优化以及调参，形成完整回归项目。