梯度下降算法:
代表第i个向量(或者说是输入数据)的第j个元素
一个估计出来的模型的表达式h
损失函数mse:
只是针对一个样本而言的求梯度:
只是针对一个样本而言的梯度递减:
为学习效率,也就是梯度下降移动的步长
针对全体样本而言的求梯度:
针对全体样本而言的梯度衰减:
GD:就是对所有的样本继续求解
优点:结果准确
缺点:数据运算量太大,速度慢
SGD:随机梯度下降,就是对每个样本进行求解,随机梯度下降,
优点:速度快
缺点:有可能找不到最有效的梯度下降路径,导致最后找不到结果,或者能找到但是很慢
mini-batch GD :小批量的梯度下降,就是一种折中方案 选取n个样本(1<n < total samples)进行
优缺点:综合GD/SGD