深度学习（23）随机梯度下降一: 随机梯度下降简介

Outline

• What’s Gradient
• What does it mean
• How to Search
• AutoGrad

1. What’s Gradient?

• 导数，derivative
• 偏微分，partial derivative
• 梯度，gradient
  $$\nabla f=(\frac{\partial f}{\partial x_1};\frac{\partial f}{\partial x_2};\dots ;\frac{\partial f}{\partial x_n})$$

2. What does it mean?

可以看到，梯度就是函数对x求偏导和对y求偏导的向量和; 在函数上升的时候，梯度方向是向外扩散的; 在函数上升的快的时候，梯度的向量的模也大（就是图中箭头长）; 在函数梯度趋于缓慢或为0时，梯度的向量的模小（就是图中箭头短）;

如上图所示，蓝色区域代表函数值较小的区域，因为箭头是向外扩散的，而梯度的方向就是函数值增大的方向; 红色区域代表函数值较大的区域，因为箭头是向内收缩的，而梯度的反方向就是函数值减小的方向;

3. How to search?

• $\nabla f\to largervalue$
  

  • Search for minima:
    • $lr/\alpha /\eta$
      $${\theta }_{t+1}={\theta }_t-{\alpha }_t\nabla f({\theta }_t)$$

4. For instance

$${\theta }_{t+1}={\theta }_t-{\alpha }_t\nabla f({\theta }_t)$$
(1) Function:
$$J({\theta }_1,{\theta }_2)={\theta }_1^2+{\theta }_2^2$$
(2) Objective:
$$\underset{{\theta }_1,{\theta }_2}{\min }J({\theta }_1,{\theta }_2)$$
(3) Update rules:
$${\theta }_1:={\theta }_1-\alpha \frac{d}{{\theta }_1}J({\theta }_1,{\theta }_2)$$
$${\theta }_2:={\theta }_2-\alpha \frac{d}{{\theta }_2}J({\theta }_1,{\theta }_2)$$
(4) Derivatives:
$$\frac{d}{d{\theta }_1}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_1}{\theta }_1^2+\frac{d}{d{\theta }_1}{\theta }_2^2=2{\theta }_1$$
$$\frac{d}{d{\theta }_2}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_2}{\theta }_1^2+\frac{d}{d{\theta }_2}{\theta }_2^2=2{\theta }_1$$

5. Learning Process

(1) Learning Process-1

(2) Learning Process-2

$\leftarrow$

6. AutoGrad

• With tf.GradientTape() as tape:
  • Build computation graph
  • $loss=f_{\theta }(x)$
• [w_grad] = tape.gradient(loss, [w])

7. GradientTape

(1) with tf.GradientTape() as tape: 将要更新的参数梯度全部放入这个函数里;
(2) grad1 = tape.gradient(y, [w]): 其中y就是损失$loss$，[w]为要更新的参数;
可以看到，计算结果为[None]，这是因为我们放入方法内的函数是$y_2=x\ast w$，与y无关，所以返回值为[None];
(3) grad2 = tape.gradient(y2, [w]): 更新w的梯度，即:
$$\frac{\partial y_2}{\partial w}=x=2$$

8. Persistent GradientTape（多次调用）

• with tf.GradientTape(persistent=True) as tape: 设置参数persistent=True，这样就可以进行多次更新操作了;

9. $2^{nd}$-order

• $y=xw+b$

• $\frac{\partial y}{\partial x}=x$

• $\frac{{\partial }^{2}y}{\partial x^2}=\frac{\partial y^{\prime }}{\partial w}=\frac{\partial x}{\partial w}=None$
  

  • 要包2层tf.GradientTape()，因为要求二阶导数。

10. 二阶求导实战

import tensorflow as tf

w = tf.Variable(1.0)
b = tf.Variable(2.0)
x = tf.Variable(3.0)

with tf.GradientTape() as t1:
    with tf.GradientTape() as t2:
        y = x * w + b
    dy_dw, dy_db = t2.gradient(y, [w, b])
d2y_dw2 = t1.gradient(dy_dw, w)

print(dy_dw)
print(dy_db)
print(d2y_dw2)

assert dy_dw.numpy() == 3.0
assert d2y_dw2 is None

运行结果如下:

参考文献:
[1] 龙良曲:《深度学习与TensorFlow2入门实战》
[2] http://mccormickml/2014/03/04/gradient-descent-derivation/
[3] http://ruder.io/optimizing-gradient-descent/