每天五分钟机器学习：随机梯度下降可以解决大规模数据的训练问题

本文重点

如果我们一定需要一个大规模的训练集，我们用批量梯度下降的时候，计算量会非常的大，此时我们可以尝试使用随机梯度下降法来代替批量梯度下降法。

批量梯度下降

代价函数是这样的：

 

m个样本的总损失

梯度下降算法为：

 

上面的就是批量梯度下降，但是它在处理大数据集不是很好用，因为计算微分项需要考虑所有的训练样本。

随机梯度下降

在随机梯度下降算法中，我们只需要考虑一个样本，此时我们定义代价函数为一个训练样本的代价，此时这个代价函数实际上测量的是算法的假设在某个样本（x(i),y(i)）上的表现。