无约束优化问题之梯度下降法、牛顿法原理

无约束优化问题是机器学习中最普遍、最简单的优化问题

$$x^{\ast }=\underset{x}{\min }{f}_{(x)},x\in R^n$$

梯度下降法推导

对于只有两个维度的函数$f_{(x,y)}$,如下图所示。

如果现在在$P$点，假设$|P{P}^{\prime }|=L,\angle P^{\prime }Px=\theta$，则由$P$到$P^{\prime }$，函数的单位长度变化量为：
$$\frac{f_{(x_0+L\cos \theta ,y_0+L\sin \theta )}-f_{(x_0,y_0)}}{L}$$
$$=\frac{f_{(x_0+L\cos \theta ,y_0+L\sin \theta )}-f_{(x_0+L\cos \theta ,y_0)}}{L}+\frac{f_{(x_0+L\cos \theta ,y_0)}-f_{(x_0,y_0)}}{L}$$
$$=\sin \theta \frac{f_{(x_0+L\cos \theta ,y_0+L\sin \theta )}-f_{(x_0+L\cos \theta ,y_0)}}{L\sin \theta }+\cos \theta \frac{f_{(x_0+L\cos \theta ,y_0)}-f_{(x_0,y_0)}}{L\cos \theta }$$
$$=\sin \theta f_{y(x_0,y_0)}+\cos \theta f_{x(x_0,y_0)}(L\to 0)$$
由柯西不等式：
$$<m,n>=||m||\cdot ||n||\cdot cos\theta$$
$$<m,n{>}^2=||m|{|}^2\cdot ||n|{|}^2\cdot co{s}^2\theta \le ||m|{|}^2\cdot ||n|{|}^2$$
且只有当$\theta =0$即两向量共线时等号成立。
令$m=(\sin \theta ,\cos \theta ),n=(f_y,f_x)$，则
$$(\sin \theta \cdot f_y+\cos \theta \cdot f_x{)}^2\le ({\sin }^2\theta +{\cos }^2\theta )(f_y^2+f_x^2)=f_y^2+f_x^2$$
$"="$成立的条件是两向量共线，即
$$\frac{\sin \theta }{\cos \theta }=\frac{f_y}{f_x}$$
此时函数的单位长度变化量最大。
而$\frac{\sin \theta }{\cos \theta }=\frac{f_y}{f_x}$意味着单位长度变化量最大的方向为梯度方向。
类比于有$n$个自变量的函数$f_{(x_1,x_2\dots \dots x_n)}$，其梯度为$(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}\dots \dots \frac{\partial f}{\partial x_n})$，则延梯度方向函数增长最快。
基于此原理，梯度下降法取梯度的反方向作为移动方向，延此方向函数下降最快。

牛顿法推导

初级版本

对于$min{f}_{(x)}$来说，需要$g_{(x)}=f_{(x)}^{{}^{\prime }}=0$。
$x_n$是第$n$个点的横坐标，我们需要求出$g_{(x)}=0$时的横坐标。
首先对第$n$个点求切线为：
$$y-g_{(x_n)}=g_{(x_n)}^{{}^{\prime }}(x-x_n)$$
令$y=0$得到$x=x_n-\frac{g_{(x_n)}}{g_{(x_n)}^{{}^{\prime }}}$
用$f_{(x)}^{{}^{\prime }}$代替$g_{(x)}$，得：
$$x_{n+1}=x_n-\frac{f_{(x_n)}^{{}^{\prime }}}{f_{(x_n)}^{{}^{\prime \prime }}}$$

高级版本

要求$min{f}_{(x)}$，
先将$f_{(x)}$进行泰勒公式展开，得：
$$f_{(x)}=f_{(x_n)}+f_{(x_n)}^{{}^{\prime }}(x-x_n)+\frac{f_{(x_n)}^{{}^{\prime \prime }}}{2!}(x-x_n{)}^2+\dots \dots$$
将只保留有关$x$的项，得：
$$f_{(x)}=\frac{f_{(x_n)}^{{}^{\prime \prime }}}{2}{x}^2+(f_{(x_n)}^{{}^{\prime }}-x_n{f}_{(x_n)}^{{}^{\prime \prime }})x+\dots \dots$$
此时已将$f_{(x)}$化为一个一元二次函数。
所以当此函数取最小值时的横坐标为：
$$x_{n+1}=-\frac{b}{2a}=-\frac{f_{(x_n)}^{{}^{\prime }}-x_n{f}_{(x_n)}^{{}^{\prime \prime }}}{f_{(x_n)}^{{}^{\prime \prime }}}=x_n-\frac{f_{(x_n)}^{{}^{\prime }}}{f_{(x_n)}^{{}^{\prime \prime }}}$$