集成学习笔记2--回归模型

使用sklearn构建完整的机器学习项目流程：

1. 明确项目任务：回归/分类
2. 收集数据集并选择合适的特征
3. 选择度量模型性能的指标
4. 选择具体的模型进行训练
5. 评估模型性能并调参

2.1 使用sklearn构建完整的回归项目

1. 收集数据集并选择合适的特征
   根据导论选择Boston数据集。

2. 选择度量模型性能的指标
   https://scikit-learn.org/stable/modules/model_evaluation.html#regression-metrics
   在这个案例中，我们使用MSE均方误差为模型的性能度量指标。

   1. 均方误差MSE
      $$MSE=\frac{1}{n}\sum _{i=0}^n(y_i-\widehat{y_i}{)}^2$$
      MSE是预测值与观测值的误差平方和的均值。MSE越小，说明预测模型描述实验数据具有更好的精度。
   2. 平均绝对误差MAE
      $$MAE=\frac{1}{n}\sum _{i=0}^n|y_i-\widehat{y_i}|$$
      MAE是预测值与观测值的误差绝对值的均值。
   3. 决定系数$R^2$
      

   $$R^2=1-\frac{var(y-\hat{y})}{var(y-\overline{y})}=1-\frac{{\sum }_{i=0}^n(y_i-\hat{y}{)}^2}{{\sum }_{i=0}^n(y_i-\overline{y}{)}^2}$$
   决定系数，也叫拟合优度。决定系数反应了y的波动有多少百分比能被x的波动所描述，即表征依变数Y的变异中有多少百分比，可由控制的自变数X来解释。越大表示拟合优度越好。

   4. 解释方差得分
      $$explained-variance=1-$$