统计机器学习笔记2——评价模型精度

摘要

统计机器学习甚至是以前的课程中，会学习很多统计学习方法。不同的统计方法在不同的数据集上表现并不一样，老师强调说“在统计学中没有免费的午餐”，也就是说，没有任何一种方法在任何一个数据集中都比其它的方法好。在实践中，针对每一个数据集选择最好的方法非常重要。

评价模型精度

拟合效果检测

• MSE(Mean Squared Error 残差均方误)
  回归问题中，$$MSE=\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2$$
• 测试、训练集
  训练数据就是用来拟合模型的。某些情况下，我们还能得到一组合适的测试数据，将由训练数据估计出的模型，来预测测试数据上的$X$对应的$\hat{Y}$，将其与测试数据上的真实$Y$比较。计算得出测试均方误差。我们选择的模型应该要使测试均方误差尽可能小，这种方法大大避免了模型过拟合的现象。

一般情况下，测试数据不一定容易获取。我们将所有的观测值样本划分为训练集和测试集（打比方，就是我只用80%的数据当训练集，剩下的当测试集。当然划分方法有很多，后面会详细介绍），通过训练集来估计模型参数。一个模型的训练均方误最小时，不能保证模型的测试均方误最小。

• 过拟合（Overfitting）
  当所建的模型产生一个较小的训练均方误差，但却有一个较大的测试均方误，就成该数据被过拟合。过拟合现象的存在意义是说明需要降低模型的光滑度，也就是复杂度（自由度）。

偏差-方差权衡（The Bias-Variance Trade-off）

除了MSE之外，还有两个指标影响我们对统计学习模型的选择：偏差和方差。
$$TestMSE=Av{e}_{(x_i,y_i)\in test}(y_i-\hat{f}(x_i){)}^2$$