cluser point 聚点 介绍及使用经验

本人才疏学浅，竟被这个概念折磨了一年之久。研究生生涯，真的是太惭愧了。

本文对聚点的介绍侧重于理解。

1 聚点基本知识

1.1 聚点的定义

聚点，英文叫cluster point，或者limit point，是无穷数列 { x k } \{x^k\} {xk}的一个性质。注意，有限的数列是没有聚点的。

聚点的定义：

翻译一下就是，若c是数列A的一个cluster point，那么对于任意小的$\delta >0$，$c$的邻域$V_{\delta }(c)$（除了$c$本身）中至少存在一个数列A集合中的点。

反过来说：所以如果x不是数列A的一个cluster point，那么一定存在一个足够小的$\delta >0$，x的邻域$V_{\delta }(c)$里不包含数列A集合中的点。

1.2 聚点的性质

1.3 聚点的重要定理

重要定理：任何有界的无限数列至少有一个聚点。

数列的有界指的是数列中元素的最大值最小值都是有界限的。

2 聚点常用在哪些地方

2.1 用在哪里

一个优化问题表现形式如下
$$\underset{x}{\min }f(x)\text{ s.t. }x\in \Omega \text{(1)}$$
其中$\Omega$是自变量$x$的可行域。优化问题经常没有显式解。

要解决这个优化问题，通常要设计一个算法，无论是梯度下降法还是什么方法，算法会经历好多步的迭代，每一步迭代产生的迭代点就是算法产生的数列的元素，记作 { x k } \{x^k\} {xk}。

我们如何判断我们设计的算法会收敛到我们想要的解呢。首先，我们想要什么解。当然是让(1)式的目标函数值$f(x)$最小的$x$了。如果$\Omega$是凸集合且$f(x)$是凸函数，那(1)问题就是凸优化问题了，任何(1)问题的局部最小点都是全局最小点。如果(1)不是凸优化问题，情况就复杂一点。通常，我们求(1)的一阶最优点就可以了。那，这个一阶最优点是个啥。先把(1)问题写成另外一种形式，
$$\underset{x}{\min }f(x)\text{ s.t. }g(x)\le 0,h(x)=0\text{(2)}$$
这里为了简单，假设(1)问题只有1个不等式约束和1个等式约束。KKT条件是很常见的可以刻画一阶最优点的条件。
$$\begin{gathered} \nabla f(x)+\lambda g(x)+vh(x)=0\text{ (3.1)} \\ g(x)\le 0\text{ (3.2)} \\ h(x)=0\text{ (3.3)} \\ \lambda \ge 0\text{ (3.4)} \\ \lambda g(x)=0\text{ (3.5)} \end{gathered}$$
其中(3.2)和(3.3)是原始可行性条件，$(3.4)$是对偶可行性条件，(3.5)是互补松弛条件，(3.1)叫啥突然不是很确定，先叫它拉格朗日条件吧。

我们把原问题(2)满足(3)式的解x称作一阶最优点，或者一阶驻点。我们判断设计的算法有效性的一个重要标准是算法产生的序列 { x k } \{x^k\} {xk}能否收敛到原问题的一阶驻点。或者我们准确的说，若序列 { x k } \{x^k\} {xk}的每一个聚点都是原问题的一阶驻点，那么算法的收敛性就有保证了。

2.2 如何使用

介绍一类使用方式吧。

如果当前迭代点是$x^k$，得到下一个解$x^{k+1}$的过程我们称作是解子问题。比如梯度下降的更新方式是$x^{k+1}=x^k-{\alpha }^k\nabla f(x^k)$，实际上相当于解了
$$\underset{x}{\min }f(x^k)+\nabla f(x^k{)}^T(x-x^k)+\frac{1}{2{\alpha }^k}\Vert x-x^k{\Vert }_2^2$$
这个子问题。

如果算法的更新方式不变，我们得到了$x^{k+1}=x^k$，那么$x^{k+2},x^{k+3},\dots$都等于$x^k$，迭代就固定不变了。之前我们列了原问题的KKT条件(3)，每个子问题也是有KKT条件的。如果迭代点不变了，那么把子问题的KKT条件和原问题的KKT条件对比，如果发现$x^k$是满足原问题的KKT条件的，那很圆满了，我们已经得到了原问题的一阶驻点$x^k$了。

如果算法产生了无限的序列，但是没有那个$k$是满足$x^{k+1}=x^k$的呢。这个时候我们需要证明 { x k } \{x^k\} {xk}的每一个聚点都是原问题的一阶最优点了。

如果$x^{\ast }$是 { x k } \{x^k\} {xk}的一个聚点，我们只需要证明在$x^{\ast }$处展开的子问题的下一个迭代点依然是$x^{\ast }$就行了，当然，前提是$x^{\ast }$在$x^{\ast }$处展开的子问题的可行域里，一般设计算法都能成立的。通常运用反证法，如果在$x^{\ast }$处展开的子问题的下一个迭代点不是是$x^{\ast }$，是$\hat{x}$。我们记$x^{\ast }$处展开的子问题目标函数为$p(x;x^{\ast })$，那么一定有个足够小的$\delta$满足
$$p(x^{\ast };x^{\ast })-p(\hat{x};x^{\ast })>\delta \text{(4)}。$$
当$k$足够大时，一定会有
$$p(x^k;x^k)-p(x^{k+1};x^k)<\frac{\delta }{4}\text{(5)}$$
我们要证的就是(5)式会出现矛盾。

当$k$足够大，有$x^k\to x^{\ast }$，这时会有$$\begin{gathered} p(x^{\ast };x^k)-p(x^{k+1};x^k)<\frac{\delta }{4}\text{(6)} \\ p(\hat{x};x^{\ast })-p(\hat{x};x^k)<\frac{\delta }{4}\text{(7)} \end{gathered}$$
注意，(6)和(7)你要看具体情况分析得出来的，我不敢保证一定会成立。按$x^k\to x^{\ast }$一般情况下都能成立的。

根据(4),(6),(7)，宗旨就是凑(以下是其中一种凑法)，我们会有
$$\begin{array}{rl}& p(x^{k+1};x^k)-p(\hat{x};x^k)\\ =& p(x^{k+1};x^k)-p(x^{\ast };x^k)+p(x^{\ast };x^k)-p(\hat{x};x^{\ast })+p(\hat{x};x^{\ast })-p(\hat{x};x^k)\\ >& \frac{\delta }{4}+\delta -\frac{\delta }{4}\\ =& \frac{\delta }{2}\end{array}$$
你发现，$x^{k+1}$按理说是第k个子问题的最优解，怎么反而$\hat{x}$在第k个子问题上的目标函数更低了呢，跟(5)妥妥的就矛盾了。

所以在$x^{\ast }$处展开的子问题得到的解一定是$x^{\ast }$，所以 { x ∗ } \{x^*\} {x∗}的每一个聚点都是原问题的一阶最优点。

以上为个人学习思考，如果错漏，轻喷。

参考文献

Properties of Cluster Points
Weierstrass Bolzano Theorem