漫步凸分析十一——分离定理

令$C_1,C_2$是$R^n$中的非空集合，有一个超平面$H$，如果$C_1$含于其中的一个闭半空间而$C_2$含于相对立的闭半空间，那么我们称$H$分离(separate)$C_1,C_2$；如果$C_1,C_2$ 都不含于$H$，那么我们成$H$真(properly)分离$C_1,C_2$；如果存在$\varepsilon>0$使得$C_1+\varepsilon B$含于一个开半空间而$C_2+\varepsilon B$含于相对立的开半空间，其中$B$是单位欧几里得球$\{x||x|\leq 1\}$，那么我们称$H$强(strongly)分离$C_1,C_2$。(当然，$C_i+\varepsilon B$是由这样的点$x$组成的，至少有点$y\in C_i$使得$|x-y|\leq\varepsilon$)

有时候也会考虑其他类别的分离，例如严格(strict)分离，此时$C_1,C_2$属于对立的开半空间。然而因为真分离与强分离非常自然地对应于线性代数中的极值，所以目前为止这两种是最有用的。

$\textbf{定理11.1}$ 令$C_1,C_2$是$R^n$中的非空集，当且仅当存在向量$b$使得

1. $\inf\{\langle x,b\rangle|x\in C_1\}\geq\sup\{\langle x,b\rangle|x\in C_2\}$
   • $\sup\{\langle x,b\rangle|x\in C_1\}>\inf\{\langle x,b\rangle|x\in C_2\}$

   • 那么存在一个超平面，它真分离$C_1,C_2$。
     当且仅当存在一个向量$b$使得
     $\quad$3. $\inf\{\langle x,b\rangle|x\in C_1\}>\sup\{\langle x,b\rangle|x\in C_2\}$

     那么存在一个超平面，它强分离$C_1,C_2$。

     $\textbf{证明：}$假设$b$满足条件$(a),(b)$并选择$C_1$上极小值与$C_2$上极大值之间任意值$\beta$。那么我们有$b\neq0,\beta\in R$，$H=\{x|\langle x,b\rangle=\beta\}$是一个超平面(定理1.3)。半空间$\{x|\langle x,b\rangle\geq\beta\}$包含$C_1$，而$\{x|\langle x,b\rangle\leq\beta\}$包含$C_2$，条件$(b)$表明$C_1,C_2$并非都含于$H$，所以$H$真分离$C_1,C_2$。

     反过来，当$C_1,C_2$能被真分离时，分离超平面与包含$C_1,C_2$的闭半空间可以只用$b,\beta$来描述，即对于每个$x\in C_1,\langle x,b\rangle\geq\beta$，对于每个$x\in C_2,\langle x,b\rangle\leq\beta$，且至少有一个$x\in C_1$或$x\in C_2$使得严格不等式成立，所以$b$满足条件$(a),(b)$。

     如果$b$满足条件$(c)$，我们可以选择$\beta\in R,\delta>0$使得对于每个$x\in C_1,\langle x,b\rangle\geq\beta+\delta$并且对每个$x\in C_2,\langle x,b\rangle\leq\beta-\delta$。因为单位球$B$是有界的，所以$\varepsilon$可以选择足够小使得对于每个$\varepsilon B$中的$y$满足$|\langle y,b\rangle|<\delta$，那么
     

     $$\begin{align*} &C_1+\varepsilon B\subset\{x|\langle x,b\rangle>\beta\}\\ &C_2+\varepsilon B\subset\{x|\langle x,b\rangle<\beta\} \end{align*}$$

     这样的话$H=\{x|\langle x,b\rangle=\beta\}$强分离$C_1,C_2$。反过来，如果$C_1,C_2$被强分离，那么对于某个$b,\beta,\varepsilon>0$，刚刚描述的包含关系是成立的，那么
     

     $$\begin{align*} &\beta\leq\inf\{\langle x,b\rangle+\varepsilon\langle y,b\rangle|x\in C_1,y\in B\}<\inf\{\langle x,b\rangle|x\in C_1\}\\ &\beta\geq\sup\{\langle x,b\rangle+\varepsilon\langle y,b\rangle|x\in C_2,y\in B\}>\sup\{\langle x,b\rangle|x\in C_2\} \end{align*}$$

     所以条件$(c)$成立。$||$

     两个集合可否被分离是一个存在问题，所以这就是为何分离理论中许多出名的应用都出现在各种存在定理的证明中。最典型的情况就是需要求出满足某种性质的向量$b$，此时我们可以构造一对凸集$C_1,C_2$使得问题中的向量$b$对应于分离$C_1,C_2$的超平面。

     $R^n$中分离超平面的存在性是一个相对基本的问题，不牵涉到选择公理，我们在下面定理的证明中给出了基本构造方法。

     $\textbf{定理11.2}$ 令$C$是$R^n$中非空相对开凸集，令$M$是$R^n$中非空仿射集且不与$C$相交，那么存在一个包含$M$的超平面，使得一个开半空间包含$C$。

     $\textbf{证明：}$如果$M$本身是超平面，那么有一个开半空间肯定包含$C$，否则的话$C$将与$C$相交，这就与假设矛盾。(如果$C$包含两个对立开半空间的点$x,y$，那么这两点之间线段上的点将位于半空间的边界上)假设$M$不是超平面，那么我们将说明如果构造一个比$M$维数高且与$C$不相交的仿射集$M^{'}$，这个构造法在$n$步或不到$n$步后给出一个满足要求的超平面$H$，这样的话就证明了该定理。

     我们假设$0\in M$(如果需要的话可以进行平移)，这样的话$M$ 是一个子空间，凸集$C-M$包含$C$但不含0。因为$M$不是超平面，所以子空间$M^{\perp}$包含一个二维子空间$P$，令$M^{'}=P\cap(C-M)$，这是$P$中的一个相对开凸集(推论6.5.1与推论6.6.2)，并且它不包含0。接下来我们要做的就是在$P$中找到一条通过0的直线$L$且与$C^{'}$不相交，这样的话$M^{'}=M+L$将是维数高于$M$且与$C$不相交的子空间。(实际上，$(M+L)\cap C\neq\emptyset$意味着$L\cap(C-M)\neq\emptyset$，这与$L\cap C^{'}=\emptyset$ 是矛盾的)为简单起见，我们将平面$P$看成$R^2$，如果$C^{'}$是空集或零维，那么直线$L$显然存在，如果$\text{aff}\ C^{'}$是不包含0的直线，我们将$L$取为过0 的平行线，如果$\text{aff}\ C^{'}$是包含0的直线，那么我们将$L$取为过0的垂线。对于剩余的情况，$C^{'}$是二维的且是开的。集合$K=\cup\{\lambda C^{'}|\lambda>0\}$是包含$C^{'}$的最小凸锥(推论2.6.3)，因为它是开集的并所以它也是开集，而且还不包含0，因此$K$是$R^2$中角度不超过$\pi$的开扇形，我们将$L$取成延伸扇形一条边界得到的线。$||$

     主要的分离定理如下。

     $\textbf{定理11.3}$ 令$C_1,C_2$是$R^n$中的非空凸集，要想存在一个真分离$C_1,C_2$的超平面，充分必要条件是$\text{ri}\ C_1,\text{ri}\ C_2$没有公共点。

     $\textbf{证明：}$考虑凸集$C=C_1-C_2$，根据推论6.6.2，它的相对内部是$\text{ri}\ C_1-\text{ri}\ C_2$，所以当且仅当$\text{ri}\ C_1,\text{ri}\ C_2$没有公共点时，$0\notin\text{ri}\ C$。接下来，如果$0\notin\text{ri}\ C$，那么根据前面的定理存在一个包含$M=\{0\}$的超平面使得$\text{ri}\ C$包含在一个开半空间中；那么半空间的闭包包含$C$，因为$C\subset\text{cl}(\text{ri}\ C)$，所以如果$0\notin\text{ri}\ C$那么存在向量$b$使得
     

     $$\begin{align*} &0\leq\inf_{x\in C}\langle x,b\rangle=\inf_{x_1\in C_1}\langle x_1,b\rangle-\sup_{x_2\in C_2}\langle x_2,b\rangle\\ &0<\sup_{x\in C}\langle x,b\rangle=\sup_{x_1\in C_1}\langle x_1,b\rangle-\inf_{x_2\in C_2}\langle x_2,b\rangle \end{align*}$$

     根据定理11.1这就意味着$C_1,C_2$可以真分离。反过来这些条件意味着$0\notin\text{ri}\ C$，因为这说明包含$C$半空间$D=\{x|\langle x,b\rangle\geq0\}$的存在性，它的内部$\text{ri}\ D=\{x|\langle x,b\rangle>0\}$与$C$相交，在这种情况中$\text{ri}\ C\subset\text{ri}\ D$(推论6.5.2)。$||$

     对于真分离，集合最多有一个可以包含在分离超平面中，如$R^2$中的集合
     

     $$\begin{align*} &C_1=\{(\xi_1,\xi_2)|\xi_1>0,\xi_2\geq\xi_1^{-1}\}\\ &C_1=\{(\xi_1,0)|\xi_1\geq0\} \end{align*}$$

     这些集合是不相交的，唯一的分离超平面是$\xi_1$轴，它包含$C_2$，这个例子还说明不相交的闭集不一定能被强分离。

     $\textbf{定理11.4}$令$C_1,C_2$是$R^n$中的非空凸集，要想存在强分离$C_1,C_2$的超平面，充分必要条件是
     

     $$\inf\{|x_1-x_2||x_1\in C_1,x_2\in C_2\}>0$$

     换句话说$0\notin\text{cl}(C_1-C_2)$。

     $\textbf{证明：}$如果$C_1,C_2$可以被强分离，那么对于某个$\varepsilon>0,C_1+\varepsilon B$与$C_2+\varepsilon B$不相交。另一方面，如果后者成立，那么根据前面的定理$C_1+\varepsilon B$与$C_2+\varepsilon B$可以被强分离。因为对于$\varepsilon^{'}=\varepsilon/2,\varepsilon B=\varepsilon^{'}B+\varepsilon^{'}B$，所以集合$(C_1+\varepsilon^{'}B)+\varepsilon^{'}B$与$(C_2+\varepsilon^{'}B)+\varepsilon^{'}B$属于对立的闭半空间，这样的话$C_1+\varepsilon^{'}B$与$C_2+\varepsilon^{'}B$在对立的闭半空间，因此当且仅当对$\varepsilon>0$，原点不属于集合
     

     $$(C_1+\varepsilon B)-(C_2+\varepsilon B)=C_1-C_2-2\varepsilon B$$

     时，$C_1,C_2$可以被强分离。这个条件意味着对于某个$\varepsilon。0$
     

     $$2\varepsilon B\cap(C_1-C_2)=\emptyset$$

     换句话说$0\notin\text{cl}(C_1-C_2)$。$||$

     $\textbf{推论11.4.1}$ 令$C_1,C_2$是$R^n$中非空不相交闭凸集且没有公共的回收方向，那么存在一个超平面强分离$C_1,C_2$。

     $\textbf{证明：}$因为$C_1,C_2$不相交，所以我们有$0\notin(C_1-C_2)$，但是根据推论9.1.2，在回收条件下$\text{cl}(C_1-C_2)=C_1-C_2$。$||$

     $\textbf{推论11.4.2}$ 令$C_1,C_2$是$R^n$中的非空凸集，其闭包是不相交，如果有一个集合是有界的，那么出在超平面强分离$C_1,C_2$。

     $\textbf{证明：}$将第一个推论应用到$\text{cl}\ C_1,\text{cl}\ C_2$上，其中有一个没有回收方向。$||$

     凸多面体的分离结果会将在推论19.3.3，定理20.2，推论20.3.1与定理22.6中给出。

     弱线性不等式组$\langle x,b_i\rangle\leq\beta_i,\in I$ 的解集$x$是闭凸集，因为它是闭半空间的交集。现在我们将说明$R^n$中每个闭凸集可以表示成这样的解集。

     $\textbf{定理11.5}$ 闭凸集$C$是包含它的半空间之交。

     $\textbf{证明：}$我们可以假设$\emptyset\neq C\neq R^n$，因为否则的话定理明显成立。给定任意$a\notin C$，集合$C_1=\{a\},C_2=C$满足定理11.4中的条件，因此存在一个强分离$\{a\},C$的超平面，包含$C$的闭半空间不包含$a$，所以包含$C$闭半空间的交除了$C$中的点外不包含其他点。$||$

     $\textbf{推论11.5.1}$ 令$S$是$R^n$的任意子集，那么$\text{cl}(\text{conv}\ S)$是包含$S$的闭半空间值交。

     $\textbf{证明：}$闭半空间包含$C=\text{cl}(\text{conv}\ S)$当且仅当它包含$S$。

     $\textbf{推论11.5.2}$ 令$C$是$R^n$的凸子集但不是$R^n$ 本身，那么存在一个包含$C$的闭半空间。换句话说，存在$b\in R^n$使得线性函数$\langle\cdot,b\rangle$在$C$上有上界。

     $\textbf{证明：}$假设表明$\text{cl}\neq R^n$(否则的话$R^n=\text{ri}(\text{cl}\ C)\subset C$)。根据定理，一个点属于$\text{cl}\ C$当且仅当它属于包含$\text{cl}\ C$ 的每个闭半空间，所以包含$\text{cl}\ C$的闭半空间不会为空。$||$

     定理11.5的深入版本会在定理18.8中给出。

     切的几何概念是分析中最重要的工具之一，曲线的切线与曲面的切平面一般用微分的形式定义。在凸分析中，我们利用相反的方法，广义切在几何上用分离来定义，之后这个概念发展成广义微分理论。

     广义切表示为支撑超平面与半空间，令$C$是$R^n$中的凸集，$C$的支撑半空间是包含$C$的闭半空间，且有一个点在$C$的边界上。$C$的支撑超平面就是$C$支撑半空间的边界，它本身是一个超平面。换句话说，$C$的支撑超平面可以表示成$H=\{x|\langle x,b\rangle=\beta\},b\neq0$其中对于每个$x\in C,\langle x,b\rangle\leq\beta$且至少有一个点$x\in C$使得$\langle x,b\rangle=\beta$，因此$C$的支撑超平面与一个线性函数有关，该函数找到$C$上的最大值。经过给定点$a\in C$的支撑超平面对应于向量$b$，它是$C$在$a$处的法向量。

     如果$C$不是$n$维的，这样的话$\text{aff}\ C\neq R^n$，所以我们总是可以将$\text{aff}\ C$扩展成包含$C$的超平面，这样的支撑超平面我们几乎不感兴趣，所以我们只讨论非平凡(non-trivial)的支撑超平面即不包含$C$本身。

     $\textbf{定理11.6}$ 令$C$是一个凸集，$D$是$C$的一个非空凸子集(例如，由单点组成的子集)。要想存在一个$C$的非平凡支撑超平面且包含$D$，充分必要条件是$D$与$\text{ri}\ C$不相交。

     $\textbf{证明：}$因为$D\subset C$，所以$C$的非平凡支撑超平面(包含$D$)与真分离$D,C$的超平面是一样的。根据定理11.3，这样的超平面存在，当且仅当$\text{ri}\ D$与$\text{ri}\ C$不相交，这个条件等价于$D$与$\text{ri}\ C$不相交(推论6.5.2)。$||$

     $\textbf{推论11.6.1}$凸集在其所有边界点上有非零法向量。

     $\textbf{推论11.6.2}$令$C$是凸集，$x\in C$是$C$的相对边界点，当且仅当存在一个线性函数$h$使得$h$实现的作用是：$C$上$x$点达到最大值，并且$h$不是$C$上的常函数。

     前面的结果在凸锥的情况下可以重新定义。

     $\textbf{定理11.7}$ 令$C_1,C_2$是$R^n$中的非空子集，至少有一个是锥。如果存在一个超平面真分离$C_1,C_2$，那么存在一个超平面真分离$C_1,C_2$且过原点。

     $\textbf{证明：}$假设$C_2$是锥。如果$C_1,C_2$可以被真分离，那么存在一个向量$b$，其满足定理11.1的前两个条件。令
     

     $$\beta=\sup\{\langle x,b\rangle|x\in C_2\}$$

     那么，正如定理11.1中的证明，集合
     

     $$H=\{x|\langle x,b\rangle=\beta\}$$

     是真分离$C_1,C_2$的超平面。因为$C_2$是锥，所以
     

     $$\lambda\langle x,b\rangle=\langle\lambda x,b\rangle\leq\beta<\infty,\forall x\in C_2,\forall\lambda>0$$

     这表明$\beta\geq0$且对每个$C_2$中的$x,\langle x,b\rangle\leq0$，因此$\beta=0,0\in H$。$||$

     $\textbf{推论11.7.1}$ $R^n$中的非空闭凸锥是包含它的齐次闭半空间的交(齐次半空间其边界上有原点)。

     $\textbf{证明：}$利用定理来提炼定义11.5的证明。$||$

     $\textbf{推论11.7.2}$ 令$S$是$R^n$中的任意子集，$K$是由$S$生成的凸锥的闭包，那么$K$是所有包含$S$的齐次闭半空间的交。

     $\textbf{证明：}$齐次闭半空间是包含原点的闭凸锥，这样的锥要想包含$S$，当且仅当它包含$K$，然后利用前面的推论即可。$||$

     $\textbf{推论11.7.3}$ 令$K$中$R^n$中的凸锥但不是$R^n$ 本身，那么$K$含于$R^n$的某个齐次闭半空间。换句话说，存在某个向量$b\neq0$使得对于每个$x\in K,\langle x,b\rangle\leq0$。

     $\textbf{证明：}$类似推论11.5.2。$||$

     to be continue.…..