计算机视觉中的深度学习4: 优化

Slides：百度云 提取码: gs3n

优化

优化的本质目标就是
$${\omega }^{\ast }=argmi{n}_{\omega }L(\omega )$$
其中的$L(\omega )$是Lost函数，即，找到能够使得$L(\omega )$最小的$\omega$。

优化的方式

随机搜索（愚蠢的决定）

梯度计算

对于一维函数，通过微分得到梯度
$$\frac{df(x)}{dx}=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$
对于多维函数，梯度则是一个由各维度的偏微分组成的向量。

沿着梯度的反方向前进就能得到最速下降的方向。

数值渐变

对于每一个维度，取一个较小的$h$；然后模拟微分的过程来计算

比较慢，主要用于参照和debug

分析渐变

用Loss函数的微分公式直接计算

L = 1 N ∑ i = 1 N L i + ∑ k W k