深度学习基础（四）优化函数(梯度下降函数)

梯度下降函数也就是优化函数，在神经网络训练过程最重要的函数。重要程度类似于调校对于汽车的重要性，搭建模型和参数设置等操作=“造好了一辆汽车”，优化函数=“调校”。因为汽车最终的操控性和加速性能等指标很大程度取决于调校，调校的好的汽车操控性非常好，而调校不好的汽车开起来很难受。而优化函数也是一样，很多情况下学习模型是正确的，但是最终训练结果不如人意，往往是因为优化函数的选择错误。

目录

一、优化函数的发展历程。

二、优化函数原理详解

总结：

---

一、优化函数的发展历程。

优化函数的发展主要经历了下面的过程： BGD->SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam。

今天我们主要介绍其中的6种优化函数，其中包括几乎“万能”的Adam，以及被大神们用的出神入化的SGD及其变种。此外，Adam算法对新手最友好了，几乎能解决所有的由优化函数引起的训练问题。

二、优化函数原理详解

1.BGD

BGD，全称是Batch gradient descent，批量梯度下降。其计算损失函数是遍历全部数据集&