本文介绍了处理大规模数据集的机器学习方法，包括学习大数据集的影响、随机梯度下降、Mini-Batch梯度下降、在线学习以及如何通过MapReduce和数据并行来加速学习过程。重点讲述了随机梯度下降在优化计算效率和模型收敛方面的应用，并探讨了在线学习在处理连续数据流中的优势。
原创博客，转载请注明出处！
1、学习大数据集
如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有1亿条记录的训练集？
以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。
首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用1000个训练集也能获得较好的效果，我们可以绘制学习曲线来帮助判断。
如果像右图那样显然是高偏差，那么增大数据量无作用！
2、随机梯度下降
如果我们一定需要一个大规模的训练集，我们可以尝试使用随机梯度下降法来代替批量梯度下降法。
在随机梯度下降法中，我们定义代价函数为一个单一训练实例的代价：
随机梯度下降算法的步骤：
①随机打乱所有数据
②对所有训练样本进行遍历，然后更新参数Θ
随机梯度下降算法在每一次计算之后便更新参数 Θ ，而不需要首先将所有的训练集求和，在梯度下降算法还没有完成一次迭代时，随机梯度下降算法便已经走出了很远。但是这样的算法存在的问题是，不
最低0.47元/天 解锁文章
223
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
