收敛速度：线性收敛，超线性收敛，r 阶收敛

最优化理论中，评价一个算法的收敛速度有两个衡量尺度，Q-收敛与 R-收敛，我们一般用到的是 Q-收敛，它包括：线性收敛，超线性收敛，r 阶收敛。

一、 Q-收敛

设相邻两个迭代点：x_(k+1), x_{k}， 最优值点 x*，若存在实数 q>0，满足：

\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|}=q\end{equation}

1. 若 0<q<1，则表示算法线性收敛

2. 若 q=1，则表示算法次线性收敛

3. 若 q=0，则表示算法超线性收敛,  并且在超线性收敛时：由于

 \begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}&\leq \lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast}\|+\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\\
 &=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast}  \|}{\|x_{k}-x^{\ast}\|}+1\leq 1\end{align}
 并且 

\begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\geq& \lim_{k\rightarrow\infty}\left|\frac{\|x_{k+1}-x_{\ast}\|-\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\right|\\\geq &\left|0-1\right|=1\end{align}
 注：利用到了二范数的性质

\begin{equation}\|a\pm b\|\geq\Big|\|a\|-\|b\|\Big|\end{equation}
 因此：
 \begin{equation}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=1\end{equation}

4. 若

\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|^{r}}=q\end{equation}

并且 r>=1, 0<=q< ∞， 则称算法 r 阶收敛。

若 r>1, r 阶收敛必为超线性收敛。（证明略去）

二、R-收敛

R-收敛借助一个收敛于零的数列来度量 趋于零的速度，设点列  收敛到最优值点 . 若存在 , ，使

则称  R-线性收敛到 . 若：

  则称  R-超线性收敛到 . 

参考资料：王宜举，修乃华《非线性最优化理论与方法》，科学出版社