机器学习task03误差与梯度下降

误差

在训练集训练模型时，尽可能让Loss最小。但是，当我们把训练好的Model用于Test时，会出现误差。误差与模型的选择、训练集的数据量都有关系。本节内容探讨了：1、误差的两种成分，Bias和Variance；2、实际工程里的一些建议。

误差ppt截图

1，展示偏差和方差区别

2，Bias比较大的常见情形（Underfitting）——模型过于简单。改进建议：增加模型的复杂度。

3，Variance比较大的常见情形（Overfitting）——模型过于复杂、数据太少。改进建议：a、增加Data；b、Regularization。

梯度下降

主要介绍了梯度的理论基础——泰勒展式，确切说并非准确的理论。

梯度ppt

1，Learning Rate很重要，要跟踪Loss function的变化，以确定rate是合适的。

2，有一些Adaptive的算法，其中最为简单的是Ada算法。

3，随机梯度下降法。

4，Feature Scaling。也是为了收敛的更快。

5，梯度下降理论