第十八章 大规模机器学习

目录

1 学习大数据集

2 随机梯度下降

3 Mini-Batch小批量梯度下降

4 随机梯度下降收敛

5 在线学习算法

6 减少映射与数据并行

---

1 学习大数据集

在机器学习中，通常情况下，决定因素往往不是最好的算法，而是谁的训练数据最多。

如图所示，当数据量达到一亿时需要很久才能进行梯度下降，上图显示了大数据对于偏差有帮助，对方差帮助较少。因此我们需要找出合理的算法来处理大数据集。

2 随机梯度下降

随机梯度下降算法不需要处理所有训练样本，我们每次迭代只考虑一个训练样本。

具体过程：1，随机打乱所有数据

                  2，遍历所有样本，使参数对每个样本进行拟合。

这样做虽然中途会出现偏差，但最终会落到一个范围以内。