每天五分钟机器学习：在大数据集情况下算法训练出现的计算量问题

本文重点

现在是一个大数据的时代，现在的算法训练比以前要好很多，其中原因之一就是我们现在拥有很多可以训练算法的数据，大规模机器学习就是用来处理大数据的算法。

高效的学习算法

得到一个高效的学习算法的最好的方式之一就是：用一个低偏差的学习算法，然后用很多的数据来训练它。

大数据的问题

当训练线性回归模型的时候或者逻辑回归模型的时候，梯度下降的规则是这样的：

 

如果m的数量级是一个亿的时候，那么我们在计算上面这一项的时候，仅仅是这一步而已，我们的计算量就是亿级单位的。这个计算量真的是太大了。为了解决这种问题，我们将使用另外一种梯度下降的方式。

补充

如果我们有上亿条数据，那么是否需要这么多的数据来训练我们的算法，为什么不使用几千条来训练呢？

我们可以使用几千条数据来训练我们的算法，然后绘制学习曲线来帮助判断，如果我们的学习曲线是过拟合的，那么此时再提高训练的数量也是可以的。

如果学习曲线是欠拟合的，那么就说明数据太多了，说明此时的算法处于高偏差状态，我们应该增加一些特征或者在神经网络中增加一些隐藏的单元。