“不动点定理”，“李亚普洛夫定理”与“全局收敛定理”

前言

这两天读了一篇题目为“Fast and Globally Convergence Pose Estimation from Video Images”的文章，这篇文章提出了一个算法，用来计算图片中的坐标系与相机坐标系之间的齐次变换矩阵$T$，
$$T=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$

Fig. 1 手眼标定与小孔成像模型

如Fig. 1所示，在手眼标定中，我们使用棋盘格和相机，棋盘格上是有一个默认的坐标系{Chessboard}，相机也有自己的一个坐标系（我们把它的原点固定在小孔成像的小孔上，$z$轴定义为小孔的光轴，$x$和$y$轴与$z$轴正交），但是{Chessboard}与{Camera}之间的齐次变换矩阵$T$不知道，我们可以通过小孔成像原理，将棋盘格上的$P$点投影到相机中的成像面上的$P^{{}^{\prime }}$点（可以等同于投影到相机的胶片上的$P^{{}^{\prime }}$点）。我们已经知道$P$点在棋盘格中的坐标表达（将P选为棋盘格角点，棋盘格的每个格子的长宽都是已知的），$P$点在成像面上的成像点$P^{{}^{\prime }}$（$P^{{}^{\prime }}$点在{Camera}坐标系中的坐标已知），所以我们可以根据$P^{{}^{\prime }}=TP$来计算出来齐次变换矩阵$T$（当然我们需要代入多个$P$点进去计算，因为$T$里面的待定参数不止一个）。

大家如果对图片的姿态估计问题或者手眼标定问题感兴趣，可以阅读“Fast and Globally Convergence Pose Estimation from Video Images”这篇文章，当然这篇文章提出的算法并不像Lenz-Tsai算法（该算法广泛应用于机器人的手眼标定）这样的通用。

有点跑偏了，回归正题。在阅读这篇文章的算法证明部分，作者使用了“全局收敛定理”（Global Convergence Theorem）来证明他提出的算法的全局收敛性，即无论初始点在哪里，算法总能收敛到不动点（当然这和收敛到最优点不一样，因为可能有多个不动点，具体收敛到哪一个不知道，“全局收敛原理”强调的是算法始终能收敛，不依赖于迭代初值的选取）。

然后我的第一感觉就是，这个“全局收敛原理”和我学习过的泛函分析中的“不动点定理”，和我的老本行自动控制的根基“李亚普洛夫定理”的有点关系，所以这里我就直接把这三个拿出来一起讨论，写一篇博客记录一下。事物之间总是联系的，从联系的观点看待事物，可能有时候可以看的更加深刻。好，正片开始（这篇博客会涉及到一些数学分析的基本证明，可能对于没有数学分析基础的同学会不太友好，但是我会尽量的写的清楚易懂一些，每一个证明的背后依据的原理，以及参考书籍我都会列出）。

好了，正片开始。

一、不动点定理

我查了一下，不止一个以“数学家名字”+“不动点定理”冠名的定理，我们这里说的不动点定理是泛函分析中的“Banach不动点定理”。

【定义：不动点（fixed point）】 设$X$为非空集合，映射$T:X\to X$，$x_0\in X$, 如果$T{x}_0=x_0$，那么称$x_0$为$T$的不动点。

【定义：距离（distance）】 设$X$为非空集合，定义度量函数$d:X\times X\to \mathbb{R}$，如果度量函数$d(x,y)$满足下列三个性质，其中$x,y\in X$，则称$d(x,y)$是$X$上的距离函数。

1. 非负性（non-negativity）: 对于$\forall x,y\in X$，有$d(x,y)\ge 0$。$d(x,y)=0$当且仅当$x=y$。
2. 对称性 （symmetry）: 对于$\forall x,y\in X$，有$d(x,y)=d(y,x)$。
3. 三角不等式 （Triangle inequality）: 对于$\forall x,y,z\in X$，有$d(x,z)\le d(x,y)+d(y,z)$。
   特别地，称$(X,d)$是一个度量空间。

【定义：压缩映射（contraction mapping）】 设$(X,d)$为度量空间，映射$T:X\to X$，若存在常数$k\in \mathbb{R}$，$0\le k<1$，使得$d(Tx,Ty)\le kd(x,y)$，$\forall x,y\in X$，则称$T$为压缩映射。

【Banach不动点定理】 设$(X,d)$是一个完备的度量空间，$T:X\to X$是压缩映射，即存在常数$k\in \mathbb{R}$，$0\le k<1$，使得$d(Tx,Ty)\le kd(x,y)$，$\forall x,y\in X$，则$T$在$X$中存在唯一的不动点$x^{\ast }$，即$T(x^{\ast })=x^{\ast }$。【注：如果在度量空间$(X,d)$中，任何一个柯西序列（Cauchy sequence）都收敛到$X$中的一个元素，那么这个度量空间就是完备的。】
证明：
[步骤 1：构造序列]
任取 $x_0\in X$，定义序列 { x n } \{x_{n}\} {xn​} 如下：
$$x_{n+1}=T(x_n),n=0,1,2,\dots$$
即序列的每一项都是前一项在映射$T$下的像。

[步骤 2：证明序列是 Cauchy 列]
我们需要证明 { x n } \{x_{n}\} {xn​}是 Cauchy 列。对于$\forall m>n$，考虑$d(x_n,x_m)$：
$$d(x_n,x_m)\le d(x_n,x_{n+1})+d(x_{n+1},x_{n+2})+\cdots +d(x_{m-1},x_m)$$
由于$T$是压缩映射，有
$$d(x_i,x_{i+1})=d(T(x_{i-1}),T(x_i))\le k\cdot d(x_{i-1},x_i)$$
递推可得
$$d(x_n,x_{n+1})\le k^n\cdot d(x_0,x_1)$$
因此，
$$d(x_n,x_m)\le \sum _{i=n}^{m-1}d(x_i,x_{i+1})\le \sum _{i=n}^{m-1}{k}^i\cdot d(x_0,x_1)$$
由于 $0\le k<1$，几何级数收敛，故
$$d(x_n,x_m)\le \frac{k^n}{1-k}\cdot d(x_0,x_1)$$
当$n\to \infty$时，$d(x_n,x_m)\to 0$，因此 { x n } \{x_n\} {xn​} 是 Cauchy 列。

[步骤 3：证明序列收敛]
由于$(X,d)$是完备的，Cauchy列 { x n } \{x_n\} {xn​}收敛到某个 $x^{\ast }\in X$，即
$$\underset{n\to \infty }{\lim }{x}_n=x^{\ast }$$

[步骤 4：证明 $x^{\ast }$是不动点]
由于$T$是连续的（压缩映射必连续，可由压缩映射的定义证得），有
$$T(x^{\ast })=T\left(\underset{n\to \infty }{\lim }{x}_n\right)=\underset{n\to \infty }{\lim }T(x_n)=\underset{n\to \infty }{\lim }{x}_{n+1}=x^{\ast }$$
因此，$x^{\ast }$ 是$T$的不动点。

[步骤 5：证明不动点唯一]
假设存在另一个不动点 $y^{\ast }\in X$，即$T(y^{\ast })=y^{\ast }$。则
$$d(x^{\ast },y^{\ast })=d(T(x^{\ast }),T(y^{\ast }))\le k\cdot d(x^{\ast },y^{\ast })$$
由于$0\le k<1$，只有当$d(x^{\ast },y^{\ast })=0$时成立，即$x^{\ast }=y^{\ast }$。因此，不动点唯一。

【注：上述的定义和Banach不动点原理可以从“泛函分析”相关的教材中找到】

二、李亚普诺夫定理

【命题】 设$X$是${\mathbb{R}}^N$中的一个紧集，$f:X\to X$是连续映射，$V:X\to \mathbb{R}$是连续映射。从$X$中取定初值$x_0$，有
$$x_{k+1}=f(x_k)\text{\hspace{1em}(1)}$$
$$V(x_{k+1})<V(x_k)\text{\hspace{1em}(2)}$$
那么序列 { x k } \{x_{k}\} {xk​}收敛，记${\lim }_{k\to \infty }{x}_k=x^{\ast }$，且有$f(x^{\ast })=x^{\ast }$，即$x^{\ast }$为$f$的不动点。【注：我们这里讨论的$X$如果是$N$维欧氏空间，则这里的紧集可以等价为有界闭集，有界闭集可以简单的看作数轴上的左闭右闭的区间。简而言之，紧集或者闭集就是为了保证$X$中的序列收敛到的极限点也在这个集合$X$里面。】
证明：
[步骤 1：构造序列 { x k } \{x_{k}\} {xk​}]
任取$x_0\in X$，代入定理中的(1)式，可以得到序列 { x k } \{x_{k}\} {xk​}。由于$X$是紧集，由Bolzano–Weierstrass定理知，$X$中的序列 { x k } \{x_{k}\} {xk​}中必有收敛子序列 { x k j } \{x_{k_{j}}\} {xkj​​}。设${\lim }_{j\to \infty }{x}_{k_j}=x^{\ast }$。

[步骤 2：序列$V(x_k)$的收敛性]
因为映射$V$定义在紧集$X$上，所以$V(x)$有界，则$V(x_k)$有界。又因为序列$V(x_k)$单调，所以序列$V(x_k)$收敛（因为$\mathbb{R}$上的单调有界序列必收敛）。记${\lim }_{k\to \infty }V(x_k)=C$。

[步骤 3：$f(x^{\ast })$与$x^{\ast }$的关系]

Fig. 2 迭代序列

如Fig. 2所示， { x k } \{x_{k}\} {xk​}的子序列 { x k j } \{x_{k_{j}}\} {xkj​​}收敛到$x^{\ast }$，由定理中的(1)式知，$x_{k_j+1}=f(x_{k_j})$。因为$f$是连续映射，所以序列 { x k j + 1 } \{x_{k_{j}+1}\} {xkj​+1​}收敛到$f(x^{\ast })$。即序列 { x k } \{x_{k}\} {xk​}有两个收敛子序列，分别收敛到$x^{\ast }$和$f(x^{\ast })$。

证明到这里戛然而止，因为我没法证明出来$x^{\ast }=f(x^{\ast })$，以及序列 { x k } \{x_{k}\} {xk​}收敛到$x^{\ast }$。
[PS：这个命题是我根据以前学习过的Lyapunov定理和上述那篇学术文章的思想下，自己随手写出来的，看起来很对。也很容易给出来满足这个命题的例子。但是我想了两天，确实证明不出来，也尝试构造反例来证伪。经过头脑风暴的折磨后，构造出来反例了。非常开心。]
【反例】 设
$$X=\{(x,y,z)\in {\mathbb{R}}^3\mid x^2+y^2=1,0\le z\le 1\}$$
这是一个圆柱面上高为 1 的“管状”集合，是紧集（闭且有界）。

定义$V$函数：
$$V(x,y,z)=z$$
显然是连续的。

定义映射：
$$f:(x,y,z)\mapsto (x^{\prime },y^{\prime },z^{\prime })=(\text{将}(x,y)\text{逆时针旋转90°},z/2)$$
形式上可以写作：
$$f(x,y,z)=(-y,x,z/2)$$
这个映射显然是连续的。

计算：
$$V(x_{k+1})=z_{k+1}=\frac{z_k}{2}<z_k=V(x_k)$$
严格单调下降，命题中的条件 (2) 成立。

同时，$f:X\to X$ 没有问题，因为 $z/2$ 仍然属于 $[0,1]$，映射闭合在 $X$ 上。

对于 { x k } \{x_k\} {xk​}：
取初值：
$$x_0=(0,1,1)$$
迭代后：
$$x_1=f(x_0)=(-1,0,0.5)$$
$$x_2=f(x_1)=(0,-1,0.25)$$
$$x_3=f(x_2)=(1,0,0.125)$$
$$x_4=f(x_3)=(0,1,0.0625)$$
可以看到：
$z$ 分量趋于 0；
但是 $(x,y)$ 分量始终在单位圆上旋转，每一步旋转 90°，永远不会静止。它会围绕着四个点 $(0,1)$，$(-1,0)$，$(0,-1)$，$(1,0)$ 周期循环下去。

结论：
$$z_k\to 0$$
但是 $(x_k,y_k)$ 不收敛，而是在四个点之间来回跳动。因此整体序列 { x k } \{x_k\} {xk​} 不收敛。

上述的命题看起来，条件已经给的很强了，还是没法保证序列 { x k } \{x_{k}\} {xk​}收敛。那么我们看看李亚普诺夫的离散形式到底给了什么样的条件，让系统可以收敛到一个极限（自动控制里面的“稳定点”）。

【李亚普诺夫定理】 考虑离散时间系统：
$$x_{k+1}=f(x_k)\text{\hspace{1em}(1)}$$
其中连续映射$f:{\mathbb{R}}^n\to {\mathbb{R}}^n,f(0)=0$。

若存在一个连续函数$V:D\to \mathbb{R}$
满足以下条件：
[正定性]:
$$V(0)=0\text{且}V(x)>0\forall x\ne 0\text{\hspace{1em}(2)}$$

[下降性（差分负定）]：
$$\Delta V(x)=V(f(x))-V(x)<0\forall x\ne 0\text{\hspace{1em}(3)}$$

[径向无界]：
$$V(x)\to \infty ,||x||\to \infty \text{\hspace{1em}(4)}$$

是大范围渐近稳定的（即无论初始迭代点取任何值，即$\forall x_0\in {\mathbb{R}}^N$， { x k } \{x_{k}\} {xk​}终将收敛到0）。
证明：
[1] 生成 { x k } \{{x_{k}}\} {xk​}序列
任取$x_0\in {\mathbb{R}}^N$，代入定理中的(1)式。可以得到序列 { x k } \{x_{k}\} {xk​}。

[2] 序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}的收敛性
将序列 { x k } \{x_{k}\} {xk​}代入到$V$中，得到序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}。由定理中的(3)式知，$V(f(x_k))-V(x_k)=V(x_{k+1})-V(x_k)<0$，即序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}单调下降。由定理中的(2)式知，$V(x_k)\ge 0$，即序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}有下界。序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}单调递减且有下界，所以收敛。记${\lim }_{k\to \infty }V(x_k)=C$。因为$V(x_k)\ge 0$，$\forall k\in \mathbb{N}$，所以$C\ge 0$，$C\in \mathbb{R}$。

[3] 序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}的极限$C=0$
序列 { x k } \{{x_{k}}\} {xk​}有界（反证法：若序列 { x k } \{{x_{k}}\} {xk​}无界，由定理中(4)式知，${\lim }_{k\to \infty }V(x_k)=\infty$，这与上述序列 { V ( x k ) } \{V(x_{k})\} {V(xk​)}收敛到实数$C$矛盾）。由Bolzano-Weierstrass定理（${\mathbb{R}}^N$空间中的有界序列必有收敛子列）知，可以找到收敛子列 { x k j } \{{x_{k_{j}}}\} {xkj​​}，记${\lim }_{j\to \infty }{x}_{k_j}=x^{\ast }$。因为 { x k j } \{{x_{k_{j}}}\} {xkj​​}是 { x k } \{{x_{k}}\} {xk​}的子列，所以 { V ( x k j ) } \{V({x_{k_{j}}})\} {V(xkj​​)}是 { V ( x k ) } \{V({x_{k}})\} {V(xk​)}的子列，则${\lim }_{j\to \infty }V(x_{k_j})={\lim }_{k\to \infty }V(x_k)=C$。因为$V$为连续函数，所以$$V(x^{\ast })=C\text{\hspace{1em}(5)}$$

我们证明$C=0$。
反证法：假设$C>0$。我们以$x^{\ast }$作为初始点(由定理中的(2)式知，$x^{\ast }\ne 0$)，代入$x_{k+1}=f(x_k)$中，得到$f(x^{\ast })$。由定理中的(3)式知，$$V(f(x^{\ast }))-V(x^{\ast })<0\text{\hspace{1em}(6)}$$
因为序列 { f ( x k j ) } \{f(x_{k_{j}})\} {f(xkj​​)}是 { x k } \{{x_{k}}\} {xk​}的子序列，所以$$\underset{j\to \infty }{\lim }V(f(x_{k_j}))=\underset{k\to \infty }{\lim }V(x_k)=C\text{\hspace{1em}(7)}$$ 因为$f$为连续映射，且${\lim }_{j\to \infty }{x}_{k_j}=x^{\ast }$，所以${\lim }_{j\to \infty }f(x_{k_j})=f(x^{\ast })$。因为$V$为连续函数，所以$$\underset{j\to \infty }{\lim }V(f(x_{k_j}))=V(f(x^{\ast }))\text{\hspace{1em}(8)}$$ 由(7)式和(8)式知，$$V(f(x^{\ast }))=C\text{\hspace{1em}(9)}$$ 由(5)式和(9)式知，$V(f(x^{\ast }))=V(x^{\ast })$，这与(6)式矛盾。所以$C=0$。

[4] 序列 { x k } \{{x_{k}}\} {xk​}收敛到0
反证法：假设序列 { x k } \{{x_{k}}\} {xk​}不收敛到0，即“$\exists \epsilon >0$, 对于$\forall N>0$， $\exists k>N$，使得$||x_k||>\epsilon$”。我们可以选取$N_1$，找到一个$k_1>N_1$，使得$||x_{k_1}||>\epsilon$；然后，选择$N_2=k_1$，找到一个$k_2>N_2$，使得$||x_{k_2}||>\epsilon$；依此进行下去，可以得到一个序列 { x k } \{{x_{k}}\} {xk​}的子序列 { x k i } \{{x_{k_{i}}}\} {xki​​}，$i=1,2,3,...$。对于$\forall i\in N^{\ast }$，$||x_{k_i}||>\epsilon$。上述已经证明了序列 { x k } \{{x_{k}}\} {xk​}有界，所以子序列 { x k i } \{{x_{k_{i}}}\} {xki​​}也有界。由Bolzano-Weierstrass定理知，可以找到 { x k i } \{{x_{k_{i}}}\} {xki​​}的一个收敛子列 { x k i ′ } \{{x_{k_{i}'}}\} {xki′​​}，记极限为$\hat{x}$，$\hat{x}\ge \epsilon >0$。因为$V$连续，所以$$\underset{i\to \infty }{\lim }V(x_{k_i^{\prime }})=V(\hat{x})\text{\hspace{1em}(10)}$$ 由定理中的(2)式和$\hat{x}>0$知，$$V(\hat{x})>0\text{\hspace{1em}(11)}$$ 因为 { x k i ′ } \{{x_{k_{i}'}}\} {xki′​​}是 { x k } \{{x_{k}}\} {xk​}的子列，所以$$\underset{i\to \infty }{\lim }V(x_{k_i^{\prime }})=\underset{k\to \infty }{\lim }V(x_k)=C=0\text{\hspace{1em}(12)}$$ 由(10)式和(12)式知，$V(\hat{x})=0$，这与(11)式矛盾。则序列 { x k } \{{x_{k}}\} {xk​}必须收敛到0。

【PS】结合上面的证明，我们可以思考一下如果把上述定理的某些条件给去掉，看看是否还能严格证明出来收敛。比如我们把 【李亚普诺夫定理】 中的"连续映射$f:{\mathbb{R}}^n\to {\mathbb{R}}^n$"条件替换为“映射$f:{\mathbb{R}}^n\to {\mathbb{R}}^n$”，没有了连续性的保证，就不能保证迭代产生的序列 { x k } \{x_{k}\} {xk​}收敛到0。构造的反例如下，
【反例】 在${\mathbb{R}}^3$空间中，

如上图所示，我们把整个空间分为三块，分别记作$S_1$，$S_2$，$S_3$。
$$S_1=\{(x,y,z)\in {\mathbb{R}}^3\mid z>1\}$$
$$S_2=\{(x,y,z)\in {\mathbb{R}}^3\mid -1\le z\le 1\}$$
$$S_3=\{(x,y,z)\in {\mathbb{R}}^3\mid z<-1\}$$

定义$V$函数：
$$V(x,y,z)=\sqrt{x^2+y^2+z^2}$$
这个映射显然是连续的，且满足“正定性”和“径向无界”。

定义映射$f$：
$$\begin{gathered} f:(x,y,z)\mapsto (x^{\prime },y^{\prime },z^{\prime })=(\text{将}(x,y)\text{逆时针旋转90°},(z+1)/2)\text{当}(x,y,z)\in S_1 \\ (x,y,z)\mapsto (x^{\prime },y^{\prime },z^{\prime })=(\text{将}(x,y)\text{逆时针旋转90°}，x变为x/2，y变为y/2,z/2)\text{当}(x,y,z)\in S_2 \\ (x,y,z)\mapsto (x^{\prime },y^{\prime },z^{\prime })=(\text{将}(x,y)\text{逆时针旋转90°},(z-1)/2)\text{当}(x,y,z)\in S_3 \end{gathered}$$
这个映射$f$显然是不连续的(在$z=1$和$z=-1$时不连续)。

计算：
$$\begin{gathered} V(x_{k+1})=\sqrt{x^2+y^2+[(z+1)/2{]}^2}<\sqrt{x^2+y^2+z^2}=V(x_k)\text{当}(x,y,z)\in S_1时 \\ V(x_{k+1})=\sqrt{(x/2{)}^2+(y/2{)}^2+(z/2{)}^2}<\sqrt{x^2+y^2+z^2}=V(x_k)\text{当}(x,y,z)\in S_2时 \\ V(x_{k+1})=\sqrt{x^2+y^2+[(z-1)/2{]}^2}<\sqrt{x^2+y^2+z^2}=V(x_k)\text{当}(x,y,z)\in S_3时 \end{gathered}$$
严格单调下降，即满足“下降性（差分负定）”。

对于 { x k } \{x_k\} {xk​}：
取初值：
$$x_0=(0,1,2)$$
迭代后：
$$x_1=f(x_0)=(-1,0,1.5)$$
$$x_2=f(x_1)=(0,-1,1.25)$$
$$x_3=f(x_2)=(1,0,1.125)$$
$$x_4=f(x_3)=(0,1,1.0625)$$
可以看到：
$z$ 分量趋于 1；
但是 $(x,y)$ 分量始终在单位圆上旋转，每一步旋转 90°，永远不会静止。它会围绕着四个点 $(0,1)$，$(-1,0)$，$(0,-1)$，$(1,0)$ 周期循环下去。

结论：
可以看到，破坏了$f$的连续性后，迭代产生的序列 { x k } \{x_k\} {xk​} 就可能不收敛。对于**【李亚普诺夫定理】**定理中的其它条件的弱化，大家可以自己研究对收敛性的影响。

【注：上述证明用到的数学基础都可以从“数学分析”相关的教材中找到】

三、全局收敛定理

这篇文章（题目为“Fast and Globally Convergence Pose Estimation from Video Images”）中用到的“全局收敛定理”，请参考论文中的算法构建部分，作者给出了定理描述，以及定理的参考文献。（实在写不动了，请查阅论文，谢谢）

总结

迭代算法的构建，涉及众多领域，比如自动控制中的李雅普诺夫理论，强化学习中的价值函数迭代理论。对于迭代算法，收敛性的研究非常重要，如果设计出来的迭代算法发散，问题就大了。本博客也只讨论了迭代算法中的冰山一角，个人感觉还是很有意思的。深刻掌握这些理论，说不定哪天自己就能设计出来一个收敛的迭代算法来解决自己遇到的问题。

写在最后，作者水平非常有限，如果上述的内容或者定理证明有什么逻辑不严谨或者错误，恳请指正，不胜感激。如果大家有关于迭代算法方面的见解，有意思或者有用的知识，如能留言分享，也非常感谢。