偏差-方差分解、损失函数和正则化

一、偏差-方差分解（以回归算法为例）
偏差-方差分解是解释学习算法泛化性能的一种重要工具。
误差是测量值与真实值之间的差值。
偏差度量了学习算法的期望预测与真实结果的偏离程度。
方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响。
噪声则表达了在当前任务上任何学习算法所能表达的期望泛化误差的下界。

因模型无法表示基本数据的复杂度而造成偏差
因模型对训练它的有限数据过敏（原数据集上效果很好，换个数据就不行了）而造成方差
偏差造成的误差——欠拟合
方差造成的误差——过拟合

从偏差-方差分解的角度看，Boosting主要关注降低偏差。

下面介绍损失函数：
损失函数又叫代价函数，常见的损失函数详见：http://blog.csdn.net/shenxiaoming77/article/details/51614601
风险函数是损失函数的期望，包括经验风险函数和结构风险函数，目标函数是求解使经验风险函数和结构风险函数之和最小的参数

在机器学习的世界中，最重要的就是选择合适的损失函数，构建出目标函数，对目标函数进行求解。我们的最终目的就是提高预测准确性，就需要不停的优化，包括对计算结果的优化和对计算性能的优化。这需要很强的数学功底。

过拟合通常发生在变量过多时，防止过拟合的方法：
1、尽量减少选取变量的数量；
2、正则化。保留所有的特征变量，但是会减小特征变量的数量级。

下面介绍正则化：