机器学习基础 4：无约束最优化方法

基础知识

在开始介绍优化方法之前，我们先介绍一些基础知识

收敛速度

  如果一种方法（这里指算法），是以前一次迭代的一阶幂乘以一个小于1的因子的速度收敛，则称这种方法为线性收敛（例如二分法），而以高阶幂收敛的方法称为超线性收敛。
  具体描述：
设算法产生点列 { x ( x ) } \{x^{(x)}\} { x(x)}，收敛到解$x^{\ast }$，且 { x ( x ) } ≠ x ∗ ， ∀ k \{x^{(x)}\} \neq x^* ，\forall k { x(x)}̸​=x∗，∀k，则

1. 线性收敛：当$k$充分大时有
   $$\frac{\Vert x^{(x+1)}-x^{\ast }\Vert }{\Vert x^{(x)}-x^{\ast }\Vert }<1$$
2. 超线性收敛：$$\underset{k\to \infty }{\lim }\frac{\Vert x^{(x+1)}-x^{\ast }\Vert }{\Vert x^{(x)}-x^{\ast }\Vert }=0$$
3. 二阶收敛：$\exists \alpha >0$，当$k$充分大时有： $$\frac{\Vert x^{(x+1)}-x^{\ast }\Vert }{\Vert x^{(x)}-x^{\ast }\Vert }\le \alpha$$

  我们知道上面的符号$\Vert \cdots \Vert$是范数的符号，范数可以用来度量向量之间的距离。对最简单的情况——一维向量来说——上面的各个相减的式子就可以表示两点之间的距离。

 

凸集 (convex set)

凸集在最优化领域占有重要地位。其数学定义是：

设有$N$维空间的子集$D$，如果对于任意的向量（也可以说是$N$维空间中的点）$X_1、X_2\in D$，以及任意的实数$a\in [0,1]$，都有$a{X}_1+(1-a)X_2\in D$，那么则称$D$为凸集。

凸集的几何意义是：

如果$D$为非空集合，则连接$D$中任意两个点$X_1、X_2$的线段仍属于该集合。

这似乎有点令人费解：$a{X}_1+(1-a)X_2\in D$与两点之间的连线有什么关系呢？它表示连接这两点的线段上的任意一点。简单推导如下：

假设X为线段$X_1{X}_2$上的任一点，则向量$\overrightarrow{X_{2}X}$平行于向量$\overrightarrow{X_2{X}_1}$，且 $0\le |\overrightarrow{X_{2}X}|\le |\overrightarrow{X_2{X}_1}|$ 。
因此，存在数$a\in [0,1]$，使得 $\overrightarrow{X_{2}X}=a\overrightarrow{X_2{X}_1}$，即：$X-X_2=a(X_1-X_2)$，即 $X=a{X}_1+(1-a)X_2$。由于X是线段$X_1{X}_2$上任一点，因此前面的结论不言自明。

正定矩阵 (positive definite matrix)

  设 $\mathbf{M}$ 是$\mathbf{n}$阶方阵，如果对任何非零列向量$\mathbf{x}\in {\mathbf{R}}^{\mathbf{n}}$，都有${\mathbf{x}}^{\mathbf{T}}\mathbf{M}\mathbf{x}>0$，就称$\mathbf{M}$为正定矩阵。
  当 ${\mathbf{x}}^{\mathbf{T}}\mathbf{M}\mathbf{x}>0$ 弱化为 $\mathbf{x}$