3.2梯度下降法（各类优化器实现与简介）-简单神经网络分类为例

整理不易，有条件的点个关注、点个赞呗！感恩各位大哥！

tensorflow简单介绍

tensor采用图运算的方式搭建并训练深度学习网络，该部分使用的库包版本为tensorflow==1.14.0

代码拆分（每个代码块可以放到一个jupyter的cell里）

tensorflow1.0中封装的各类常用优化器

简单梯度优化器

• 标准梯度下降法
  计算所有样本汇总误差，然后更新权值
• 随机梯度下降法
  随机抽取一个样本来计算误差，然后更新权值
• 批量梯度下降法
  从总样本中选取一个批次（比如一共有10000个样本，随机选取其中的100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。
• SGD(慢、无法逃离鞍点，但准确率说不准哪个会更好)
  $$\mathbf{W}=\mathbf{W}-\mathbf{\eta }{\nabla }_{\mathbf{W}}\mathbf{J}(\mathbf{W};{\mathbf{x}}^{\mathbf{i}};{\mathbf{y}}^{\mathbf{i}})\text{\hspace{1em}(1)}$$
• Momentum
  $\mathbf{\gamma }$: 动力，通常设置为0.9
  ${\mathbf{v}}_{\mathbf{t}}=\mathbf{\gamma }$${\mathbf{v}}_{\mathbf{t}-1}+\mathbf{\eta }{\nabla }_{\mathbf{W}}\mathbf{J}(\mathbf{W})$
  $\mathbf{W}=\mathbf{W}-{\mathbf{v}}_{\mathbf{t}}$
• NAG(Nesterov accelerated gradient)
  $${\mathbf{v}}_{\mathbf{t}}=\mathbf{\gamma }{\mathbf{v}}_{\mathbf{t}-1}+{\nabla }_{\mathbf{W}}\mathbf{J}(\mathbf{W}-\mathbf{\gamma }{\mathbf{v}}_{\mathbf{t}-1})\text{\hspace{1em}(2)}$$
  $$\mathbf{W}=\mathbf{W}-{\mathbf{v}}_{\mathbf{t}}\text{\hspace{1em}(3)}$$
  NAG在TF跟Monmentum合并在同一函数tf.train.MomentumOptimizer中，可以通过参数配置启用。在Momentum中小球会盲目地跟从下坡的梯度，容易发生错误，所以我们需要一个更聪明的小球，这个小球提前知道它要去哪里，它还要知道走到坡底的时候速度慢下来而不是又冲上另一个坡。$\gamma vt-1$会用来修改W的值，计算$W-\gamma v_{t-1}$可以表示小球下一个位置大概在哪里。从而我们可以提前计算下一个位置的梯度，然后使用到当前位置。
• Adagrad
  $i$: 代表第$i$个分类
  $t$: 代表出现次数
  $\epsilon$: 极小的数避免分母为零，取值一般为1e-8
  $\eta$: 取值一般为0.01
  $${\mathbf{g}}_{\mathbf{t},\mathbf{i}}={\nabla }_{\mathbf{W}}\mathbf{J}({\mathbf{W}}_{\mathbf{i}})$$