李宏毅深度学习Task03

1.误差从哪里来？

模型拟合中误差来源：bias，variance

简单的模型一般具有较大的bias，较小的variance；对于复杂的模型刚刚相反，因为模型越复杂，函数集就越有可能包括target function，所以bias越小。

模型拟合中存在的问题：欠拟合（bias偏大，variance偏小）；过拟合（bias偏小，variance偏大）

解决方法：

（1）large bias：增加输入；提高模型复杂度

（2）large variance：采用更多的数据

（3）平衡bias和variance的方法：采用cross validation，即将训练集分为训练集和验证集，从而提高public测试集的代表性

2.梯度下降

常用梯度下降方法

（1）调整learning rate：设置一个变动的learning rate

（2）Adagrad方法：根据loss function的一次微分和二次微分设置learning rate

（3）随机梯度下降：每次梯度下降只使用一个采样点，加快梯度下降的速度

（3）Feature scaling：调整输入的尺度，类似归一化，从而更快的加速梯度下降的速度

梯度下降的不足：有local minima；在平滑点出现微分为0；在plateua的变化很慢