梯度下降算法GD SGD MGB

梯度下降算法：

 代表第i个向量（或者说是输入数据）的第j个元素

一个估计出来的模型的表达式h

损失函数mse：

只是针对一个样本而言的求梯度：

                            

只是针对一个样本而言的梯度递减：

为学习效率,也就是梯度下降移动的步长

针对全体样本而言的求梯度：

针对全体样本而言的梯度衰减：

 

GD：就是对所有的样本继续求解

优点:结果准确

缺点:数据运算量太大,速度慢

SGD：随机梯度下降,就是对每个样本进行求解,随机梯度下降,

优点:速度快

缺点:有可能找不到最有效的梯度下降路径,导致最后找不到结果,或者能找到但是很慢

mini-batch GD ：小批量的梯度下降,就是一种折中方案  选取n个样本（1<n < total samples）进行

优缺点:综合GD/SGD