机器学习 -- 梯度下降法（Ⅸ 梯度下降法的总结）

对比批量梯度下降法和随机梯度下降法：

维度	批量梯度下降法	随机梯度下降法
计算方式	每次对所有的样本看一遍才可以计算出梯度	每一次只需观察一个样本
速度	慢	快
稳定性	高，一定可以先向损失函数下降的方式前进	低，每一次的方式不确定，甚至向反方向前进

 

综合二者的优缺点，有一种新的梯度下降法：小批量梯度下降法

小批量梯度下降法：即，我们每一次不看全部样本那么多，也不是只看一次样本那么少，每次只看k个样本。对于小批量梯度下降法，又多了一个超参数。