随机梯度下降与批量梯度下降

一、批量梯度下降

在实现线性感知器算法中，我们使用了梯度下降算法来最小化代价函数。在更新权重的过程中，我们所采用的是整个训练数据，这种梯度下降算法被称为批量梯度下降算法。当训练数据集达到了几百万甚至上亿条数据的规模的时候，批量梯度下降算法，就有点力不从心了。每更新一次权重，就使用所有的数据集来进行评估，这样会造成成本的浪费。所以，这个时候我们就可以采用，随机梯度下降或者小批量（随机选择100条数据）梯度下降。

二、随机梯度下降

随机梯度下降也被称为迭代梯度下降（iterative gradient descent）或者在线梯度下降(on-line gradient descent)，随机梯度下降算法与批量梯度下降算法的主要不同就是权重的更新策略不同，批量梯度下降的权重更新过程是整个训练集的数据，批量梯度下降的权重更新是对于整个训练集