最优化方法(学习笔记)-第十章无约束优化问题

无约束优化问题

无约束优化问题属于限制比较少,适合通过技巧来简化求解过程

基本形式

$\min f((x),f(x):R^n\to R$

假设: $1.f(x)是凸函数2.f(x)二阶可导3.存在唯一的优化点x^{\ast },有p^{\ast }={\inf }_{x}f(x)$

注意: $x^{\ast }optimal⟺\nabla f(x^{\ast })=0$

例子

• 二次规划问题: $\min \frac{1}{2}{x}^{T}Px+q^{T}x+r,P\in S_{+}^n,q\in R^n,r\in R$
  对f(x)求导得到$px+q=0$

  • $P\in S_{++}^n$: 有唯一解

  • $P\in S_{+}^n$: 无穷多组解
    

  • $P\in S_{+}^n,q含有非零元素使得等式不成立$: 无解
    

• 几何规划问题: $domf=R^n,f(x)=\log (\sum _{i=1}^m\exp (a_i^{T}x+b_i))$

  求导得到: $\nabla f=\frac{\sum \exp (a_i^{T}x+b_i)a_i}{(\sum \exp (a_i^{T}x+b_i))}$, 这是一个超越方程,难以求解

• 类似的问题: d o m f = { x ∣ a i T x < b i , ∀ i } , f ( x ) = − ∑ i = 1 m log ⁡ ( b i − a i T x ) domf=\{x|a_i^Tx<b_i,\forall{i}\},f(x)=-\sum\limits_{i=1}^m{\log{(b_i-a_i^Tx)}} domf={x∣aiT​x<bi​,∀i},f(x)=−i=1∑m​log(bi​−aiT​x)

  求导得到: $\nabla f=\sum \frac{a_i}{b_i-a_i^{T}x}$, 依然非常难解

强凸性质

• 定义[最小的特征值也大于m]，以下的推导假设具有强凸性质
  

• 对f(y)做泰勒展开,设存在$z\in [x,y]$使得泰勒展开成立

  $f(y)=f(x)+{\nabla }^{T}f(x)(y-x)+\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(z)(y-x)$

  因为${\nabla }^{2}f(x)\ge mI$

• 所以$f(y)\ge f(\tilde{y})=f(x)+\nabla f(x{)}^T(\tilde{y}-x)+\frac{m}{2}||\tilde{y}-x|{|}_2^2$

  若m=0,那么这个不等式是成立的

• 若$m\ne 0$, 设$\tilde{y}=x-\frac{1}{m}\nabla f(x)$

  $f(y)\ge f(x)+\nabla f(x{)}^T(\tilde{y}-x)+\frac{m}{2}||\tilde{y}-x|{|}_2^2\stackrel{带入\tilde{y}的设定}{=}f(x)-\frac{1}{2m}||\nabla f(x)|{|}_2^2$

  令y取最优点$x^{\ast }$,$p^{\ast }=f(x^{\ast })\ge f(x)-\frac{1}{2m}||\nabla f(x)|{|}_2^2$

• $f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2$, 由此可知,f(y)与最优点的距离与f(x)导数的模长有关

• 结论: $\frac{1}{2m}||\nabla f(x)|{|}_2^2<\epsilon ⟹\nabla f(x)\le \sqrt{2m\epsilon }⟹||f(x)-p^{\ast }|{|}_2<\epsilon$ (限制了函数值与最小值的距离，可以方便控制步长大小)

条件数

设${\lambda }_{max},{\lambda }_{min}$分别是${\nabla }^{2}f(x)$中最大和最小特征值的绝对值

条件数定义: $K=\frac{{\lambda }_{max}}{{\lambda }_{min}}$

根据这个比值, 我们可以发现, 若条件数K越大（系统越不稳定）, 我们的特征值范围越广, 迭代到最优的步数就越多

注意: 二阶导矩阵${\nabla }^{2}f(x)$也称Hessian矩阵

下降方法

• 定义如下
  
  $△x$可以是搜索的方向,一般是函数下降的方向,所以满足$\nabla f(x{)}^T△x<0$

• 算法步骤
  

• 线性搜索Line search

  • 精准线性搜索
    

  • (向后追踪)backtracking线性搜索: 含有两个参数$\alpha \in (0,\frac{1}{2}),\beta \in (0,1)$

    • 终止条件的公式
      
    • 图像示意迭代情况
      
      由图可知: $\beta$ 控制迭代的步长（用来缩小$t_0$,得到更小$t$）, $\alpha$ 控制初始下降方向(虚线)的角度

梯度下降法GD

算法步骤

默认$△x=-\nabla f(x)$

通常需要提出停止条件$||\nabla f(x)|{|}_2<\epsilon$

收敛分析

要求f(x)具有强凸性质, (设$M是{\lambda }_{max},m是{\lambda }_{min}$)

收敛结果是$\frac{1}{2M}||\nabla f(x)|{|}_2^2\le f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2$

学习率c取决于最小特征值，初始点，线性搜索的类型。

• 精准线性搜索
  $x^{+}=x-t\nabla f(x),f(x^{+})\le f(x)+t||\nabla f(x)|{|}_2^2+\frac{M{t}^2}{2}||\nabla f(x)|{|}_2^2$

  取t使得在右端二次函数的最小值点,$t=\frac{1}{M},设e=f(x)-p^{\ast }$

  $f(x^{+})-p^{\ast }\le f(x)-p^{\ast }-\frac{1}{2M}||\nabla f(x)|{|}_2^2\le \underset{因为f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2}{\underbrace{(f(x)-p^{\ast })(1-\frac{m}{M})}}$

  设$e^{+}=c\ast e,c=1-\frac{m}{M}(与条件数的倒数有关),有e^{(k)}=f(x^{(k)})-p^{\ast }\le e^{(0)}{c}^k<\epsilon$

  所以对上式最后一个小于号取对数,得到$k\ge \frac{\log (\frac{e^0}{\epsilon })}{-\log C}$

  所以步数k与初始值$e^0$,终止误差$\epsilon$,c都有关系

  也印证了当条件数K变大时,$c=1-\frac{1}{K}$变大,分母变小,步数k变大

• backtracking线性搜索
  
  终止条件里，是将负梯度带入到$△x$，然后泰勒展开，再根据强凸性质求得的收敛结果（收敛分析下方的不等式）

  推导得到不等式$f(x-\tilde{t}\nabla f)\le f(x)-\tilde{t}||\nabla f|{|}_2^2+\frac{M{\tilde{t}}^2}{2}||\nabla f|{|}_2^2=f(x)-(\tilde{t}-\frac{M{\tilde{t}}^2}{2})||\nabla f|{|}_2^2$

  设$0\le \tilde{t}\le \frac{1}{M}⟹-\tilde{t}+\frac{M{\tilde{t}}^2}{2}\le -\frac{\tilde{t}}{2}\le -\alpha \tilde{t},\alpha \in (0,\frac{1}{2})⟹f(x^{+})\le f(x)-\alpha \tilde{t}||\nabla f|{|}_2^2$（终止条件）

  所以我们迭代($t=\beta t$)的目标就是使得$\tilde{t}\le \frac{1}{M}$成立（初始t=1）,证明结果如下
  
  结论：backtracking线性搜索的条件终止于 t = 1 ( M ≤ 1 ) 或 t ≥ β M ( M ≥ 1 )    ⟹    t = min ⁡ { 1 , β M } t=1(M\leq1)或t\geq\frac\beta M(M\geq1)\implies t=\min\{1,\frac\beta M\} t=1(M≤1)或t≥Mβ​(M≥1)⟹t=min{1,Mβ​}

虽说是线性收敛，但是$\frac{m}{M}$的条件数会导致迭代很慢, 不适用于实际.

例子

• 二维的二次规划问题
  
  若$\gamma$偏离1很多,那么就收敛慢 , 如下图
  
  迭代过程的证明
  

• 非二次规划问题
  
  

• 100维的问题
  
  高维问题中，两种线性搜索的差距不大。

最速下降法SD

【类似梯度下降的收敛性】
【可能有多个最小值（多个方向）】

标准最速下降法

最速下降法

坐标变换的角度来理解最速下降法

• 欧式范数意义下：梯度下降GD就是（二范数的）最速下降法

  ${\nabla }^{T}f(x)v=||{\nabla }^{T}f(x)|{|}_2||v|{|}_{2}cos\theta ⟹v=-\frac{{\nabla }^{T}f(x)}{||{\nabla }^{T}f(x)|{|}_2}\sim -{\nabla }^{T}f(x)$ (GD)

  一般的梯度下降法不能很快找到最小值，所以一般要对x做变换（比如：图像上由椭圆变成圆）

• L1范数的迭代结论：每步沿下降最快的坐标轴方向
  
  【例子：Frobenius norm scaling】

• quadratic norm的转换

设$x=P^{-\frac{1}{2}}\tilde{x},P={\nabla }^{2}f(x)$

计算得到$△{\tilde{x}}_{sd}=-P^{-\frac{1}{2}}{\nabla }_{x}f(x),{\nabla }_{\tilde{x}}^{2}f(P^{-\frac{1}{2}}\tilde{x})=I,{\nabla }_{\tilde{x}}f(P^{-\frac{1}{2}}\tilde{x})=P^{-\frac{1}{2}}{\nabla }_{x}f(x)$

所以转换后可以实现最速下降

由${\tilde{x}}^{+}=\tilde{x}+t△{\tilde{x}}_{sd}⟹x^{+}=x-t{P}^{-1}{\nabla }_{x}f(x)⟹△x_{sd}=-P^{-1}{\nabla }_{x}f(x)$

$△{\tilde{x}}_{nsd}=-\frac{{\nabla }_{\tilde{x}}f(P^{-\frac{1}{2}}\tilde{x})}{||{\nabla }_{\tilde{x}}f(P^{-\frac{1}{2}}\tilde{x})|{|}_2}=-({\nabla }^{T}f(x)P^{-1}\nabla f(x){)}^{-\frac{1}{2}}(P^{-\frac{1}{2}}{\nabla }_{x}f(x))=({\nabla }^{T}f(x)P^{-1}\nabla f(x){)}^{-\frac{1}{2}}\ast △{\tilde{x}}_{sd}$

$⟹△x_{nsd}=({\nabla }^{T}f(x)P^{-1}\nabla f(x){)}^{-\frac{1}{2}}\ast △x_{sd}=-({\nabla }^{T}f(x)P^{-1}\nabla f(x){)}^{-\frac{1}{2}}(P^{-1}\nabla f(x))$

引入quadratic范数的概念$||x|{|}_P=(x^{T}Px{)}^{\frac{1}{2}}$， 其对偶范数$||x|{|}_{P\ast }=(x^T{P}^{-1}x{)}^{\frac{1}{2}}$

${\nabla }^{T}f(x)△x_{nsd}=-({\nabla }^{T}f(x)P^{-1}\nabla f(x){)}^{-\frac{1}{2}}({\nabla }^{T}f(x)P^{-1}\nabla f(x))=-||\nabla f(x)|{|}_{P\ast }$(正负号无影响)

所以 △ x n s d = arg ⁡ min ⁡ v { ∇ T f ( x ) v ∣   ∣ ∣ v ∣ ∣ P ≤ 1 } ， △ x s d = ∣ ∣ ∇ f ( x ) ∣ ∣ P ∗ ∗ △ x n s d \triangle x_{nsd}=\arg\min_v\{\nabla^Tf(x)v |\space||v||_P\leq1\}，\triangle x_{sd}=||\nabla f(x)||_{P*}*\triangle x_{nsd} △xnsd​=argminv​{∇Tf(x)v∣ ∣∣v∣∣P​≤1}，△xsd​=∣∣∇f(x)∣∣P∗​∗△xnsd​

• 举例

• 结果表明，范数以及变换矩阵P的选取对收敛速度有很强的影响。

算法步骤

收敛性分析

• 注：具有回溯线搜索的梯度方法的收敛性分析扩展到任意范数的最陡的下降方法

根据范数等价性，设$\gamma ,\tilde{\gamma }\in [0,1],||x||\ge \gamma ||x|{|}_2,||x|{|}_{\ast }\ge \tilde{\gamma }||x|{|}_2$ , 强凸性 ${\nabla }^{2}f(x)\le MI$

计算得$f(x+t△s_{sd})\le f(x)-t||\nabla f(x)|{|}_{\ast }^2+\frac{M{t}^2}{2{\gamma }^2}||\nabla f(x)|{|}_{\ast }^2⟹t^{\ast }=\frac{{\gamma }^2}{M}$（二次函数的极值点）

将$t^{\ast }$带入不等式中，得到$f(x+t^{\ast }△s_{sd})\le f(x)-\frac{{\gamma }^2}{2M}||\nabla f(x)|{|}_{\ast }^2$

基于向后追踪线性搜索的收敛性分析，设 γ 2 M ≥ t ≥ min ⁡ { 1 , β γ 2 M } = t ~ ， α < 1 2 , β < 1 \frac{\gamma^2}{M}\geq t\geq\min\{1,\frac{\beta\gamma^2}{M}\}=\tilde t，\alpha<\frac12 , \beta<1 Mγ2​≥t≥min{1,Mβγ2​}=t~，α<21​,β<1

根据最速下降法的条件： $\nabla f(x{)}^T△x_{sd}=-||\nabla f(x)|{|}_{\ast }^2$, 且二范数的对偶还是二范数

$f(x^{+})=f(x+t△s_{sd})\le f(x)-\alpha \tilde{t}||\nabla f(x)|{|}_{\ast }^2{\tilde{\gamma }}^2=f(x)-\alpha \tilde{t}||\nabla f(x)|{|}_2^2{\tilde{\gamma }}^2$

于是同时减去最小值$p^{\ast }$, 根据梯度下降法的收敛结果$\frac{1}{2M}||\nabla f(x)|{|}_2^2\le f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2$来做放缩

设 e t = f ( x ) − p ∗ , 所 以 e t + 1 ≤ e t ( 1 − 2 m α t ~ γ ~ 2 ) , t ~ = min ⁡ { 1 , β γ ~ 2 M } e_t=f(x)-p^* , 所以 e_{t+1}\leq e_t(1-2m\alpha \tilde t \tilde\gamma^2), \tilde t=\min\{1,\frac{\beta{\tilde\gamma}^2}{M}\} et​=f(x)−p∗,所以et+1​≤et​(1−2mαt~γ~​2),t~=min{1,Mβγ~​2​}

$c=(1-2m\alpha \tilde{t}{\tilde{\gamma }}^2)<1,e_{t+1}\le c{e}_t,f(x^{(k)})-p^{\star }\le c^k(f(x^{(0)})-p^{\star })$

所以【函数点到最优点的距离】是线性收敛的。

补充说明

• boyd书中的定义
  • GD: $△x_{sd}=-\nabla f(x),t->$line search
  • SD: △ x s d = arg ⁡ min ⁡ v { ∇ T f ( x ) v ∣   ∣ ∣ v ∣ ∣ . ≤ 1 } , t − > \triangle x_{sd}=\arg\min_v\{\nabla^Tf(x)v |\space||v||_.\leq1\}, t-> △xsd​=argminv​{∇Tf(x)v∣ ∣∣v∣∣.​≤1},t−>line search
• 平常的定义
  • GD: $△x_{sd}=-\nabla f(x),t->$fixed learning rate
  • SD: $△x_{sd}=-\nabla f(x),,t->$exact line search

牛顿法

• 欧式范数
  最速下降SD=梯度下降GD

• quadratic范数
  $||z|{|}_P=(z^{T}Pz{)}^{\frac{1}{2}},P\in S_{++}^n$

  $△x_{nsd}=\frac{1}{||\nabla f(x)|{|}_{P\ast }}{P}^{-1}\nabla f(x)，△x_{sd}=P^{-1}\nabla f(x)$

当$P={\nabla }^{2}f(x)$（Hessian矩阵）时，这个就是牛顿法 Newton Method，是一种常用的但是非常耗计算量的方法。
当Hessian矩阵在经过相关的坐标变化后，出现最陡下降时（牛顿迭代中选择了很好的搜索方向），会产生很小的条件数，所以收敛快

基本定义

牛顿迭代：基于Hessian矩阵范数的最速下降法

$△x_{nt}=-{\nabla }^{2}f(X{)}^{-1}\nabla f(x)⟹\nabla f(x{)}^T△x_{nt}=-\nabla f(x{)}^T{\nabla }^{2}f(X{)}^{-1}\nabla f(x)=-||\nabla f(x)|{|}_{{\nabla }^{2}f(x)\ast }^2$

直观理解

不断逼近函数的零点，而且若零点不唯一，则初始值会影响所求得的零点

特点

牛顿法有一些超越梯度下降法和最速下降法的优点

• 牛顿法的收敛速度一般更快，一旦达到二次收敛阶段，最多需要六次左右的迭代就可以产生高质量解

• 牛顿法具有仿射不变性（与坐标变换无关），对目标的条件数和坐标不敏感

  设$x=Ty,f(x)=f(Ty),T$是非奇异的 , 分别对$f(Ty)$求一阶导【$\frac{df(Ty)}{dy}$】和二阶导

  ${\nabla }_{y}f(Ty)=T^T{\nabla }_{x}f(x),{\nabla }_y^{2}f(Ty)=T^T{\nabla }_{x}f(x)T$

  $△y_{nt}=-{\nabla }^{2}f(x{)}^{-1}\nabla f(x)=(T^T{\nabla }_{x}f(x)T{)}^{-1}{T}^T{\nabla }_{x}f(x)=T^{-1}({\nabla }_x^{2}f(x){)}^{-1}{\nabla }_{x}f(x)=T^{-1}△x_{nt}$

  $⟹△x_{nt}=T△y_{nt},x=Ty$【两种变换保持一致】

• 牛顿法的良好性能与算法参数无关

• 牛顿法可适用在不同规模的问题上，且10000维和10维问题的运算次数差别不大
  

牛顿方法的主要缺点是形成和存储Hessian矩阵的成本，以及计算牛顿步骤的成本（求解一组线性方程组）

算法步骤

收敛性分析

• 牛顿补偿Newton decrement

  设$\lambda (x)=(\nabla f(x{)}^T△x_{nt}{)}^{\frac{1}{2}}=(\nabla f(x{)}^T{\nabla }^{2}f(x{)}^{-1}\nabla f(x){)}^{\frac{1}{2}}=||\nabla f(x)|{|}_{{\nabla }^{2}f(x)\ast }$，衡量$x到x^{\ast }$的距离

  1.设二阶逼近$\widehat{f(y)}，求f(x)-{\inf }_y\widehat{f(y)}$
  
  记$△x=\hat{y}-x,有\widehat{f(y)}=f(x)+\nabla f(x{)}^T△x+\frac{1}{2}△x^T{\nabla }^{2}f(x)△x$

  $f(x)-{\inf }_y\widehat{f(y)}=f(x)-\inf \hat{f}(x+△x),\hat{f}(y)的极小值在△x=-({\nabla }^{2}f(x){)}^{-1}\nabla f(x)=△x_{nt}$

  $f(x)-{\inf }_y\widehat{f(y)}=f(x)-\hat{f}(x+△x_{nt})=\frac{1}{2}\lambda (x{)}^2$

  所以$\lambda$可以作为二阶逼近下的停止条件

  2.$\lambda (x)=(\nabla f(x{)}^T△x_{nt}{)}^{\frac{1}{2}}=(\nabla f(x{)}^T{\nabla }^{2}f(x{)}^{-1}\nabla f(x){)}^{\frac{1}{2}}$将下降方向与二阶导数联系起来

• 收敛性证明&收敛条件
  

牛顿法迭代的复杂度计算

拟牛顿法

• DFP

• BFGS：模拟${\nabla }^{2}f(x)$

  $s_k=x_{k+1}-x_k,y_k=\nabla f(x_{k+1})-\nabla f(x_k)$

  $D_{k+1}=(I-\frac{s_k{y}_k^T}{y_k^T{s}_k})D_k(I-\frac{y_k{s}_k^T}{y_k^T{s}_k})+\frac{s_k{s}_k^T}{y_k^T{s}_k}$

随机梯度下降SGD

• 损失函数和梯度下降法是一样的:
  $L(\theta )={\sum }_{x\in s}(f_{\theta }(x)-f^{\ast }(x){)}^2$

• 迭代变量有所不同

  • GD是 ${\theta }^{t+1}={\theta }^t-\eta {\nabla }_{\theta }L$
  • SGD是 ${\theta }^{t+1}={\theta }^t-\eta {\nabla }_{\theta }{L}^{\prime }$
    $L^{\prime }={\sum }_{x\in s^{\prime }}(f_{\theta }(x)-f^{\ast }(x){)}^2,s^{\prime }⊊s$

• 针对大数据集，内存不足的情况，SGD可以实现较快求解

• ​SGD具有随机性，存在噪音，使得损失函数存在震荡
  GD不存在噪音，因为每一个样本都实现了求解

总结

• 无约束优化问题

  • 基本形式

    假设 $1.f(x)是凸函数2.f(x)二阶可导3.存在唯一的优化点x^{\ast },有p^{\ast }={\inf }_{x}f(x)$

    $\min f((x),f(x):R^n\to R,x^{\ast }optimal⟺\nabla f(x^{\ast })=0$

  • 强凸性质：最小的特征值也大于m

    ${\nabla }^{2}f(x)\ge mI⟹f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2$, 由此可知,f(x)与最优点$x^{\ast }$的距离与f(x)导数的模长有关

    $\frac{1}{2m}||\nabla f(x)|{|}_2^2<\epsilon ⟹\nabla f(x)\le \sqrt{2m\epsilon }⟹||f(x)-p^{\ast }|{|}_2<\epsilon$

    (限制了函数值与最小值的距离，可以方便控制步长大小)

  • 条件数

    设${\lambda }_{max},{\lambda }_{min}$分别是${\nabla }^{2}f(x)$中最大和最小特征值的绝对值

    条件数定义: $K=\frac{{\lambda }_{max}}{{\lambda }_{min}}$，条件数K越大（系统越不稳定）, 迭代到最优的步数就越多

• 下降方法
  $x^{+}=x+t△x$，$△x$可以是搜索的方向,一般是函数下降的方向,所以满足$\nabla f(x{)}^T△x<0$

  • 线搜索

    • 精确线性搜索：$t=\arg {\min }_{t>0}f(x+t△x)$
    • 向后追踪搜索: 含有两个参数$\alpha \in (0,\frac{1}{2}),\beta \in (0,1)$
      

  • 梯度下降法GD

    • 算法步骤：默认$△x=-\nabla f(x)$，停止条件$||\nabla f(x)|{|}_2<\epsilon$
      
    • 近似线性收敛
      根据强凸性质的收敛结果：$\frac{1}{2M}||\nabla f(x)|{|}_2^2\le f(x)-p^{\ast }\le \frac{1}{2m}||\nabla f(x)|{|}_2^2$
      
      • 精确线性收敛条件：$t=\frac{1}{M}$
      • backtracking线性收敛条件： t = min ⁡ { 1 , β M } ， α ， β t=\min\{1,\frac\beta M\}，\alpha，\beta t=min{1,Mβ​}，α，β的选取对收敛性有影响
      • 精确线搜索有时会提高梯度法的收敛性，但效果不大（可能不值得实施精确线搜索的麻烦）
      • 收敛速度在很大程度上取决于Hessian矩阵或子级集的条件数，收敛可能非常缓慢（条件数=100）
    • 特点
      梯度法的主要优点是简单， 其主要缺点是其收敛速度严重依赖于Hessian或子级集的条件数

  • 最速下降法SD
    △ x n s d = arg ⁡ min ⁡ v { ∇ T f ( x ) v ∣   ∣ ∣ v ∣ ∣ P ≤ 1 } ， △ x s d = ∣ ∣ ∇ f ( x ) ∣ ∣ P ∗ ∗ △ x n s d \triangle x_{nsd}=\arg\min_v\{\nabla^Tf(x)v |\space||v||_P\leq1\}，\triangle x_{sd}=||\nabla f(x)||_{P*}*\triangle x_{nsd} △xnsd​=argminv​{∇Tf(x)v∣ ∣∣v∣∣P​≤1}，△xsd​=∣∣∇f(x)∣∣P∗​∗△xnsd​

    • 方向选取（坐标变换）

      • 二范数：梯度下降GD
      • L1范数：沿下降最快的坐标轴方向
      • quadratic范数：变换矩阵P取Hessian矩阵时是牛顿法

    • 算法步骤
      

    • 近似线性收敛

      设 e t = f ( x ) − p ∗ , 有 误 差 不 等 式 e t + 1 ≤ e t ( 1 − 2 m α t ~ γ ~ 2 ) , t ~ = min ⁡ { 1 , β γ ~ 2 M } e_t=f(x)-p^* , 有误差不等式 e_{t+1}\leq e_t(1-2m\alpha \tilde t \tilde\gamma^2), \tilde t=\min\{1,\frac{\beta{\tilde\gamma}^2}{M}\} et​=f(x)−p∗,有误差不等式et+1​≤et​(1−2mαt~γ~​2),t~=min{1,Mβγ~​2​}

      $c=(1-2m\alpha \tilde{t}{\tilde{\gamma }}^2)<1,e_{t+1}\le c{e}_t,f(x^{(k)})-p^{\star }\le c^k(f(x^{(0)})-p^{\star })$

      也是近似线性收敛的，但是收敛性与范数以及变换矩阵P的选取高度相关

  • 补充说明

    • Boyd书中的定义
      • GD: $△x_{sd}=-\nabla f(x),t->$line search
      • SD: △ x s d = arg ⁡ min ⁡ v { ∇ T f ( x ) v ∣   ∣ ∣ v ∣ ∣ . ≤ 1 } , t − > \triangle x_{sd}=\arg\min_v\{\nabla^Tf(x)v |\space||v||_.\leq1\}, t-> △xsd​=argminv​{∇Tf(x)v∣ ∣∣v∣∣.​≤1},t−>line search
    • 平常的定义
      • GD: $△x_{sd}=-\nabla f(x),t->$fixed learning rate
      • SD: $△x_{sd}=-\nabla f(x),,t->$exact line search
• 牛顿法
  $△x_{nt}=-{\nabla }^{2}f(X{)}^{-1}\nabla f(x)⟹\nabla f(x{)}^T△x_{nt}=-\nabla f(x{)}^T{\nabla }^{2}f(X{)}^{-1}\nabla f(x)=-||\nabla f(x)|{|}_{{\nabla }^{2}f(x)\ast }^2$
  • 定义：最速下降法的一个特例（Hessian矩阵定义的范数），逼近函数的零点
    不断逼近函数的零点，而且若零点不唯一，则初始值会影响所求得的零点
    
  • 特点【收敛快但计算复杂度高，迭代步数与变量个数的相关度小】
    • 牛顿法的收敛速度快，变换矩阵$P={\nabla }^{2}f(x^{\ast })\approx {\nabla }^{2}f(x)[x\to x^{\ast }]$，所以牛顿迭代是一个很好的搜索方向
    • 牛顿法具有仿射不变性（与坐标变换无关），对目标的条件数和坐标不敏感
    • 牛顿法可适用在不同规模的问题上，且10000维和10维问题的运算次数差别不大
    • 牛顿法的良好性能与算法参数无关
    • 牛顿方法的主要缺点是形成和存储Hessian矩阵的成本，以及计算牛顿步骤的成本高（解线性方程组） ，复杂度：$O(\frac{1}{3}{n}^3)$
  • 算法步骤
    
  • 二阶收敛
    牛顿补偿Newton decrement：$\lambda (x)=(\nabla f(x{)}^T△x_{nt}{)}^{\frac{1}{2}}=(\nabla f(x{)}^T{\nabla }^{2}f(x{)}^{-1}\nabla f(x){)}^{\frac{1}{2}}=||\nabla f(x)|{|}_{{\nabla }^{2}f(x)\ast }$，衡量$x到x^{\ast }$的距离，可以作为二阶逼近下的停止条件。
    以下是收敛要求：
    • 一阶导可逆：${\epsilon }_{n+1}=\frac{1}{2}\frac{g^{\prime \prime }({\xi }_n)}{g^{\prime }(x_n)}{\epsilon }_n^2$（二阶收敛）
    • Hessian矩阵满足一致连续（或Lipschitz条件）
    • 初始值$x_0$与最优解充分靠近
  • 拟牛顿法：DFP，BFGS
• 随机梯度下降SGD
  迭代：${\theta }^{t+1}={\theta }^t-\eta {\nabla }_{\theta }{L}^{\prime },L^{\prime }={\sum }_{x\in s^{\prime }}(f_{\theta }(x)-f^{\ast }(x){)}^2,s^{\prime }⊊s$
  针对大数据集，内存不足的情况，SGD可以实现较快求解，SGD具有随机性，存在噪音，使得损失函数存在震荡，而GD不存在噪音，因为每一个样本都实现了求解

备注：Hessian矩阵$⟺{\nabla }^{2}f(x)$