机器学习week 10 笔记-吴恩达coursera 大规模机器学习与在线学习机制

（最后两周，就没有编程作业了，所以这里只列举一下上课的重要知识点。）

一、大规模机器学习

1.1 学习曲线

训练集数目m较小时，如左图，有高方差，代表数据不够；右图，为高偏差，说明模型参数有问题。

如下所示：用更多的数据集效果更好-先画数据集少时有高方差，即上面的左图。

1.2 Stochastic Gradient Descent 随机梯度下降

• Batch Gradient Descent 批量梯度下降，一次梯度变化，需要对全部数据集计算完。
• 随机梯度下降的过程：打乱数据-预处理、对每个数据进行依次的梯度迭代遍历（随机迂回，最终在接近全局最小值的区域内徘徊）
• 随机梯度下降处理大数据集的计算量更小-不必每次都代入所有数据。