机器学习中的搜索算法

源码传送门
\quad\quad 搜索算法是最优化理论中的内容，搜索算法的目的是寻找最优解。在绝大多数的机器学习算法没有精确的数学表达式不容易直接求出最优解，而搜索算法是寻找最优解更具有一般性的优化算法。

4.1 梯度下降算法与次梯度下降算法

4.1.1 梯度下降算法

\quad\quad 梯度下降算法的思路可以描述为：假定目标函数可微，算法从任一给定的初始点开始进行指定轮数的搜索，每一轮搜索都计算目标函数在当前点的梯度，并沿着负梯度方向按照一定的步长移动到下一个可行点。
\quad\quad 下图是梯度下降算法的运行过程:

算法任务是如下无约束优化问题：
$$\underset{w\in {\mathbb{R}}^n}{\min }F(w)$$
其中目标函数$F$是可微的$n$元实函数。算法包含两个参数，搜索轮数$N$，搜索步长$\eta >0$，$\eta$称为学习率。初始时$w$为全$0$向量。随后$N$轮循环，每轮循环都沿$\nabla F(w)$反方向前进一小步，步长为$\eta$。
$$w\leftarrow w-\eta \nabla F(w)\text{\hspace{1em}(4.1)}$$
这里学习率是一个固定值也可以将学习率随迭代次数增大而变小
$${\eta }_t=\frac{{\eta }_0}{{\eta }_1+t}$$
${\eta }_t$表示第$t$轮迭代的学习率，$t$表示迭代轮数，${\eta }_0$${\eta }_1$是两个常参数

梯度下降算法
$w=0$
for t=1,2,…,N:
$w\leftarrow w-\eta \nabla F(w)$
return $w$

下面分析梯度下降算法的收敛原理，在任意一点$w$，根据多元函数泰勒展开公式对任意$u$有
$$F(u)=F(w)+<\nabla F(w),u-w>+\frac{1}{2}(u-w{)}^T{\nabla }^{2}F(w)(u-w)+...$$
取$u=w-\eta \nabla F(w)$并带入上式得到
$$F(u)=F(w)-\eta {\Vert \begin{array}{c}\nabla F(w)\end{array}\Vert }^2+o(\eta )$$

梯度下降算法的收敛原理从几何上看就是梯度方向是函数值增大最快的方向，负梯度方向就是函数值下降最快的方向。函数值不断下降，不断接近最优解。

\quad\quad 正规方程是求解线性回归问题的重要算法，但是需要计算矩阵的逆，而求矩阵逆的时间复杂度是$o(n^3)$当特征数非常多时，求解正规方程的计算量较大。
eg：用梯度下降求解线性回归问题，设目标函数为均方误差
$F(w)={\Vert \begin{array}{c}Xw-y\end{array}\Vert }^2/m$，梯度为
$$\nabla F(w)=\frac{2}{m}{X}^T(Xw-y)\text{\hspace{1em}(4.2)}$$

4.1.2 次梯度下降算法

前面的梯度下降算法要求目标函数可微，而次梯度下降算法就是为了解决目标函数不可微的情况。
次梯度：设$F:{\mathbb{R}}^n\to \mathbb{R}$为一个$n$元函数。如果$w,v\in {\mathbb{R}}^n$满足如下性质：
$$F(u)\ge F(w)+<v,u-w>,\forall u\in {\mathbb{R}}^n\text{\hspace{1em}(4.3)}$$
则称$v$是$F$在$w$处的一个次梯度，称集合 ∂ F ( w ) = { v ∈ R n : v 为 F 在 w 处的次梯度 } \partial F(w)=\{v\in\mathbb{R^n}:v为F在w处的次梯度\} ∂F(w)={v∈Rn:v为F在w处的次梯度}为$F$在$w$处的次梯度集。
下图是对次梯度的几何解释

定理：如果$F$是凸函数，且在$w$处可微，则 ∂ F ( w ) = { ∇ F ( w ) } \partial F(w)=\{ \nabla F(w)\} ∂F(w)={∇F(w)}
次梯度下降和梯度下降的区别仅仅体现在梯度集合的一个扩充。
那么前面线性回归算法中$L_1$正则化(Lasso回归)的次梯度就可以表示为：
$$\partial F(w)=\frac{2}{m}{X}^T(Xw-y)+\lambda u\text{\hspace{1em}(4.4)}$$
其中$$u_i=\{\begin{array}{l}1,如果w_i>0\\ 0,如果w_i=0\\ 1,如果w_i<0\end{array}\text{\hspace{1em}(4.5)}$$
当然也可以直接用$Sign$函数表示
源码去开头传送门

4.2 随机梯度下降算法

在经验损失最小化算法中，目标函数：
$$\underset{w\in {\mathbb{R}}^n}{\min }F(w)=\frac{1}{m}l(h_w(x^{(i)}),y^{(i)})$$
在计算时需要先计算梯度
$$\nabla F(w)=\frac{1}{m}\sum _{i=1}^m\nabla l(h_w(x^{(i)}),y^{(i)})$$
但是也可以发现，为了计算梯度$\nabla F(w)$，需要对每条数据进行计算，这是一个非常耗时的计算。所以就有了随机梯度下降。
$$\nabla F(w)=E[\nabla l(h_w(x^{(i)}),y^{(i)})]\text{\hspace{1em}(4.6)}$$
上式的意思是任取一条数据$(x^{(i)},y^{(i)})$计算出梯度的期望都等于所有数据计算出的梯度。
那么随机梯度下降算法就是选出一条数据计算梯度
$$\nabla F(w)=\nabla l(h_w(x^{(i)}),y^{(i)})$$
随机梯度下降在刚接触的时候会感觉很奇怪，但确实是一个很有效的算法。
下图是梯度下降和随机梯度下降算法收敛过程的对比，虽然随机梯度下降算法过程很崎岖但是总体上都在朝着目标前进。

下面再来介绍小批量梯度下降算法，因为梯度下降算法的计算量大，随机梯度下降算法需要样本在较多的时候才会有较好的效果，所以就有了小批量梯度下降算法。

4.3 牛顿迭代算法

牛顿迭代算法的证明：
$$f(w)=f(u)+f^{\prime }(u)(w-u)+o(w-u)$$
假定$w^{\ast }$为函数$f$的$0$点，即$f(w^{\ast })=0$，带入上式就得到
$$w^{\ast }=u-\frac{f(u)}{f^{\prime }(u)}-o(w^{\ast }-u)$$
(书上的证明我也看不太懂)
结论就是
$$w\leftarrow w-\frac{f(w)}{f^{\prime }(w)}$$
不断迭代就可以找到 $w$ 使$f(w)=0$。（当然是无限接近，也可能是完全等于0）
但我们需要的并不是函数值等于零的点，而是最小值点，即在凸优化中梯度等于零的点。只需要将迭代过程变为如下形式
$$w\leftarrow w-\frac{F^{\prime }(w)}{F^{\prime \prime }(w)}\text{\hspace{1em}(4.7)}$$
就可以找到$F^{\prime }(w)=0$的点即最小值点
具体表示出来就是：
$$w\leftarrow w-{\nabla }^{2}F(w{)}^{-1}\nabla F(w)$$

在最优化理论中牛顿迭代算法我记着好像有两种形式，在迭代过程还有调整这里只给出了一种，不是特别清楚。
没记错的话在最优化理论中还有共轭梯度下降算法可以通过n次迭代找到n元2次多项式的最小值点

在线性回归中设定初始点为0，则只需要一步就可以就可以找到线性回归中的最优值：
$$w=-{\nabla }^{2}F(0{)}^{-1}\nabla F(0)=(X^{T}X{)}^{-1}{X}^{T}y$$
（这里的原因就是两个的计算结果相同）也从另一方面作证了牛顿迭代算法的正确性

4.4 坐标下降算法

梯度下降算法主要针对无约束优化问题，坐标下降算法可以用来求解带约束优化问题。
坐标下降算法过程是，分别沿着每个坐标轴进行优化
eg：$minf=x_1^2+x_2^2$，初始点$(2,1)$
step1：对$x_1$优化，$minf=x_1^2+1$，结果是$(0,1)$
step2：对$x_2$优化，$minf=x_2^2$，结果是$(0,0)$

下面通过一个例子提出柔和阈值函数
Lasso回归的坐标下降算法
$$F(w)=\sum _{i=1}^m(<w,x^{(i)}>-y^{(i)}{)}^2/m+\lambda |w|$$
可行域$W={\mathbb{R}}^n$，在实现坐标下降算法时，需要对任意坐标方向$j(1<=j<=n)$计算相应的单变量优化问题
$$w^{\ast }=\underset{w\in \mathbb{R}}{\mathrm{argmin}}F(u,w_{-j})$$
将上式$F(u,w_{-j})$用$f(u)$表示出来为如下形式：
$$f(u)=\frac{1}{m}\sum _{i=1}^m(u{x}_j^{(i)}+<w_{-j},x_{-j}^{(i)}>-y^{(i)}{)}^2+\lambda |u|+\lambda |w_{-j}|$$
对上式解释$w_{-j}$的意思是原来的$w$去掉第$j$个分量，$u$表示的就是$w$中的第$j$个分量，$x$同样道理。
例如$w=[1,2,3]$，$w_{-1}=[2,3]$这时的$u=1$
为简化记号$e_j^{(i)}=<w_{-j},x_{-j}^{(i)}>-y^{(i)}$则
$$f(u)=\frac{1}{m}\sum _{i=1}^m(u{x}_j^{(i)}+e_j^{(i)}{)}^2+\lambda |u|+\lambda |w_{-j}|\text{\hspace{1em}(4.8 )}$$
(4.8)式时凸函数，并且有重要的推论$f(u^{\ast })=\underset{u\in \mathbb{R}}{\min }$的充分必要条件为$0\in \partial f(u^{\ast })$，$\partial f(u^{\ast })$为次梯度集合。

下面就来求解上面的最优解
定义$${\alpha }_j=\frac{2}{m}\sum _{i=1}^m(x_j^{(i)}{)}^2，{\beta }_j=\frac{2}{m}\sum _{i=1}^m{x}_j^{(i)}{e}_j^{(i)}\text{\hspace{1em}(4.9)}$$
次梯度集合
∂ f ( u ) = { { α j u + β j + λ } , 如果 u > 0 [ β j − λ , β j + λ ] , 如果 u = 0 { α j u + β j − λ } , 如果 u < 0 (4.10) \partial f(u)= \begin{cases} \{\alpha_ju+\beta_j+\lambda\}, & 如果u>0 \\ [\beta_j-\lambda,\beta_j+\lambda], & 如果u = 0 \\ \{\alpha_ju+\beta_j-\lambda\}, & 如果u < 0 \\ \end{cases} \tag{4.10} ∂f(u)=⎩ ⎨ ⎧​{αj​u+βj​+λ},[βj​−λ,βj​+λ],{αj​u+βj​−λ},​如果u>0如果u=0如果u<0​(4.10)
刚刚的推论在这里就要用上，充分必要条件需要0在次梯度集中
下面分类讨论来解：
当${\beta }_j<-\lambda$时，如果$u^{\ast }<0$,则${\alpha }_{j}u+{\beta }_j-\lambda <0$;
如果$u^{\ast }=0$则区间$[{\beta }_j-\lambda ,{\beta }_j+\lambda ]$均小于0
所以仅当$u^{\ast }>0$时，$f$有唯一梯度${\alpha }_{j}u+{\beta }_j+\lambda$，并且$0\in \partial f(u^{\ast })$
所以
$$\{\begin{array}{l}{\alpha }_{j}u+{\beta }_j+\lambda =0\\ u^{\ast }>0\end{array}$$
唯一解：$u^{\ast }=-\frac{{\beta }_j+\lambda }{{\alpha }_j}$
用同样方法解：
当$\beta >\lambda$时，$u^{\ast }=-\frac{{\beta }_j-\lambda }{{\alpha }_j}$
当$-\lambda \le {\beta }_j\le \lambda$时，$u^{\ast }=0$
综上所述：
$$u^{\ast }=\{\begin{array}{ll}-\frac{{\beta }_j+\lambda }{{\alpha }_j}& 如果{\beta }_j<-\lambda \\ 0& 如果-\lambda \le {\beta }_j\le \lambda \\ -\frac{{\beta }_j-\lambda }{{\alpha }_j}& 如果\beta >\lambda \end{array}\text{\hspace{1em}(4.11)}$$
这就使最后的解。
那么接下来就来说明柔和函数：
$$S_t(x)=\{\begin{array}{ll}x-t& 如果x>t\\ 0& 如果-t\le x\le t\\ x+t& 如果x<-t\end{array}\text{\hspace{1em}(4.12)}$$
(4.11)和(4.12)其实是一样的只需$x=-\frac{{\beta }_j}{{\alpha }_j},t=\frac{\lambda }{{\alpha }_j}$就可以

坐标下降中每一步中第j个坐标的的求解都是结果(4.12)

最后去学习代码是怎么写的，因为在操作的时候很容易出现维度不匹配。