机器学习之GD、SGD

---

 

1. 梯度下降法 GD

---

 

2. 随机梯度下降法 SGD

• SGD和之前的GD区别在于，GD是对函数进行求导，对整个训练集每个样本来计算，但是SGD则是对一个或者多个样本来操作，例如有10000个样本，但每次只对100个或1000个来计算梯度，从而更新参数；
• SGD存在一个弊端：因为求得的梯度不是严格的梯度，可能会使得结果变差，但在工程应用里效果却很好。

参考：机器学习入门（8）：梯度下降法