以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.3.3 凸集的分离和支撑
凸集的分离和支撑是研究最优性条件的重要工具。我们首先讨论闭凸集外一点与闭凸集的极小距离
。
定理 1.3.17
设
S
∈
R
n
S\in R^n
S∈Rn 是非空闭凸集,
y
∉
S
y\notin S
y∈/S,则存在唯一的点
x
ˉ
∈
S
\bar x\in S
xˉ∈S,它与
y
y
y 距离最短。进一步,
x
ˉ
\bar x
xˉ 与
y
y
y 距离最短的充要条件是
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
≥
0
,
∀
x
∈
S
(
1.3.12
)
(x-\bar x)^T(\bar x-y)\ge 0,\qquad \forall x\in S\qquad(1.3.12)
(x−xˉ)T(xˉ−y)≥0,∀x∈S(1.3.12)
证明:
设
inf
{
∥
y
−
x
∥
∣
x
∈
S
}
=
γ
>
0
(
1.3.13
)
\inf \{ \Vert y-x\Vert\ \vert x\in S\}=\gamma\gt 0\qquad(1.3.13)
inf{∥y−x∥ ∣x∈S}=γ>0(1.3.13)
存在一个序列
{
x
k
}
⊂
S
\{x_k\}\subset S
{xk}⊂S 使得
∥
y
−
x
k
∥
→
γ
\Vert y-x_k\Vert \to \gamma
∥y−xk∥→γ。下面我们证明
{
x
k
}
\{x_k\}
{xk} 是 Cauchy 序列,从而存在极限
x
ˉ
∈
S
\bar x\in S
xˉ∈S。
由平行四边法则
(
∥
x
+
y
∥
2
+
∥
x
−
y
∥
2
=
2
(
∥
x
∥
2
+
∥
y
∥
2
)
\Vert x+y\Vert^2+\Vert x-y\Vert^2=2(\Vert x \Vert^2+\Vert y \Vert^2)
∥x+y∥2+∥x−y∥2=2(∥x∥2+∥y∥2)),有
∥
x
k
−
x
m
∥
2
=
2
∥
x
k
−
y
∥
2
+
2
∥
x
m
−
y
∥
2
−
∥
x
k
+
x
m
−
2
y
∥
2
=
2
∥
x
k
−
y
∥
2
+
2
∥
x
m
−
y
∥
2
−
4
∥
x
k
+
x
m
2
−
y
∥
2
(
1.3.14
)
\Vert x_k-x_m\Vert^2 = 2\Vert x_k-y\Vert^2+ 2\Vert x_m-y\Vert^2-\Vert x_k+x_m-2y\Vert^2\\ =2\Vert x_k-y\Vert^2+ 2\Vert x_m-y\Vert^2-4\left\Vert \frac{x_k+x_m}2-y\right\Vert^2\qquad(1.3.14)
∥xk−xm∥2=2∥xk−y∥2+2∥xm−y∥2−∥xk+xm−2y∥2=2∥xk−y∥2+2∥xm−y∥2−4∥∥∥∥2xk+xm−y∥∥∥∥2(1.3.14)
注意到
(
x
k
+
x
m
)
/
2
∈
S
(x_k+x_m)/2\in S
(xk+xm)/2∈S,由(1.3.13)有:
∥
x
k
+
x
m
2
−
y
∥
2
≥
γ
2
\left\Vert \frac{x_k+x_m}2-y\right\Vert^2\ge \gamma^2
∥∥∥∥2xk+xm−y∥∥∥∥2≥γ2
因而
∥
x
k
−
x
m
∥
2
≤
2
∥
x
k
−
y
∥
2
+
2
∥
x
m
−
y
∥
2
−
4
γ
2
\Vert x_k-x_m\Vert^2\le 2\Vert x_k-y\Vert^2+2\Vert x_m-y\Vert^2-4\gamma^2
∥xk−xm∥2≤2∥xk−y∥2+2∥xm−y∥2−4γ2
于是,取
k
k
k 和
m
m
m 充分大,则
∥
x
k
−
x
m
∥
→
0
\Vert x_k-x_m\Vert\to 0
∥xk−xm∥→0
从而
{
x
k
}
\{ x_k\}
{xk} 是Cauchy序列,且有极限
x
ˉ
\bar x
xˉ。因为
S
S
S 是闭的,故
x
ˉ
∈
S
\bar x\in S
xˉ∈S,这表明存在
x
ˉ
\bar x
xˉ 使得
∥
y
−
x
ˉ
∥
=
γ
\Vert y-\bar x\Vert=\gamma
∥y−xˉ∥=γ
下面证明唯一性。假定
x
ˉ
′
,
x
ˉ
∈
S
\bar x',\bar x\in S
xˉ′,xˉ∈S 满足
∥
y
−
x
ˉ
∥
=
∥
y
−
x
ˉ
′
∥
=
γ
\Vert y-\bar x\Vert =\Vert y-\bar x'\Vert =\gamma
∥y−xˉ∥=∥y−xˉ′∥=γ
由S的凸性,
(
x
ˉ
+
x
ˉ
′
)
/
2
∈
S
(\bar x+\bar x')/2\in S
(xˉ+xˉ′)/2∈S。于是
∥
y
−
x
ˉ
+
x
ˉ
′
2
∥
≤
1
2
∥
y
−
x
ˉ
∥
+
1
2
∥
y
−
x
ˉ
′
∥
=
γ
\left\Vert y-\frac{\bar x+\bar x'}2 \right\Vert\le\frac12\Vert y-\bar x\Vert + \frac12\Vert y-\bar x'\Vert=\gamma
∥∥∥∥y−2xˉ+xˉ′∥∥∥∥≤21∥y−xˉ∥+21∥y−xˉ′∥=γ
如果严格不等号成立,则与
γ
\gamma
γ 的定义矛盾,从而在上述不等式中,仅仅只有等号成立,从而必有
y
−
x
ˉ
=
λ
(
y
−
x
ˉ
′
)
,
for some
λ
y-\bar x=\lambda(y-\bar x')\quad, \text{for some $\lambda$}
y−xˉ=λ(y−xˉ′),for some λ
又由于
∥
y
−
x
ˉ
∥
=
∥
y
−
x
ˉ
′
∥
=
γ
\Vert y-\bar x\Vert=\Vert y-\bar x'\Vert=\gamma
∥y−xˉ∥=∥y−xˉ′∥=γ,故
∣
λ
∣
=
1
\vert \lambda\vert =1
∣λ∣=1。若
λ
=
−
1
\lambda = -1
λ=−1,则有
y
=
(
x
ˉ
+
x
ˉ
′
)
/
2
∈
S
y=(\bar x+\bar x')/2\in S
y=(xˉ+xˉ′)/2∈S,这与
y
∉
S
y\notin S
y∈/S 矛盾。从而,
λ
=
1
\lambda=1
λ=1,即
x
ˉ
=
x
ˉ
′
\bar x=\bar x'
xˉ=xˉ′。唯一性得证。
最后,证明
x
ˉ
∈
S
\bar x\in S
xˉ∈S 与
y
∉
S
y\notin S
y∈/S 距离最短的充要条件是
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
≥
0
,
∀
x
∈
S
(x-\bar x)^T(\bar x-y)\ge 0,\forall x\in S
(x−xˉ)T(xˉ−y)≥0,∀x∈S。
设
x
∈
S
,
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
≥
0
x\in S, (x-\bar x)^T(\bar x-y)\ge 0
x∈S,(x−xˉ)T(xˉ−y)≥0。由于
∥
y
−
x
∥
2
=
∥
y
−
x
ˉ
+
x
ˉ
−
x
∥
2
=
∥
y
−
x
ˉ
∥
2
+
∥
x
ˉ
−
x
∥
2
+
2
(
x
ˉ
−
x
)
T
(
y
−
x
ˉ
)
\Vert y-x \Vert^2=\Vert y-\bar x+\bar x-x\Vert^2\\ =\Vert y-\bar x\Vert^2+\Vert \bar x-x\Vert^2+2(\bar x-x)^T(y-\bar x)
∥y−x∥2=∥y−xˉ+xˉ−x∥2=∥y−xˉ∥2+∥xˉ−x∥2+2(xˉ−x)T(y−xˉ)
故
∥
y
−
x
∥
2
≥
∥
y
−
x
ˉ
∥
2
\Vert y-x \Vert^2\ge\Vert y-\bar x\Vert^2
∥y−x∥2≥∥y−xˉ∥2,从而
x
ˉ
\bar x
xˉ 与
y
y
y 有极小距离。
反之,设
∥
y
−
x
∥
2
≥
∥
y
−
x
ˉ
∥
2
,
∀
x
∈
S
\Vert y-x\Vert^2\ge\Vert y-\bar x\Vert^2,\forall x\in S
∥y−x∥2≥∥y−xˉ∥2,∀x∈S。注意到
x
ˉ
+
λ
(
x
−
x
ˉ
)
∈
S
\bar x+\lambda(x-\bar x)\in S
xˉ+λ(x−xˉ)∈S,对充分小的
λ
>
0
\lambda\gt0
λ>0。于是,
∥
y
−
x
ˉ
−
λ
(
x
−
x
ˉ
)
∥
2
≥
∥
y
−
x
ˉ
∥
2
and:
∥
y
−
x
ˉ
−
λ
(
x
−
x
ˉ
)
∥
2
=
∥
y
−
x
ˉ
∥
2
+
λ
2
∥
x
−
x
ˉ
∥
2
+
2
λ
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
\Vert y-\bar x-\lambda(x-\bar x)\Vert^2 \ge \Vert y-\bar x\Vert^2\\ \text{and:}\\ \Vert y-\bar x-\lambda(x-\bar x)\Vert^2 = \Vert y-\bar x\Vert^2+\lambda^2\Vert x-\bar x\Vert^2+2\lambda(x-\bar x)^T(\bar x-y)
∥y−xˉ−λ(x−xˉ)∥2≥∥y−xˉ∥2and:∥y−xˉ−λ(x−xˉ)∥2=∥y−xˉ∥2+λ2∥x−xˉ∥2+2λ(x−xˉ)T(xˉ−y)
从上面两式可得
λ
2
∥
x
−
x
ˉ
∥
2
+
2
λ
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
≥
0
,
for enought small
λ
>
0
\lambda^2\Vert x-\bar x\Vert^2+2\lambda(x-\bar x)^T(\bar x-y)\ge 0, \text{ for enought small $\lambda\gt 0$}
λ2∥x−xˉ∥2+2λ(x−xˉ)T(xˉ−y)≥0, for enought small λ>0
两边同除以
λ
\lambda
λ,并令
λ
→
0
\lambda \to 0
λ→0,便得结果。
□
\quad \square
□
现在,我们讨论点和凸集的分离定理,它是最基本的分离定理。
定理 1.3.8
设
S
⊂
R
n
S\subset R^n
S⊂Rn 是非空闭凸集,
y
∈
R
n
,
y
∉
S
y\in R^n,y\notin S
y∈Rn,y∈/S,则存在
向量
p
≠
0
p\neq0
p̸=0 和实数
α
\alpha
α,使得
p
T
y
>
α
and
p
T
x
≤
α
,
∀
x
∈
S
(
1.3.15
)
p^Ty\gt \alpha\text{ and } p^Tx\le \alpha,\forall x \in S\qquad(1.3.15)
pTy>α and pTx≤α,∀x∈S(1.3.15)
即存在超平面
H
=
{
x
∣
p
T
x
=
α
}
H=\{x\vert \ p^Tx=\alpha\}
H={x∣ pTx=α} 严格分离
y
y
y 和
S
S
S。
证明:
因为
S
S
S 是闭凸集,
y
∉
S
y\notin S
y∈/S,故由定理 1.3.17 知存在唯一的与
y
y
y 距离极小的点
x
ˉ
∈
S
\bar x\in S
xˉ∈S,使得
(
x
−
x
ˉ
)
T
(
x
ˉ
−
y
)
≥
0
,
∀
x
∈
S
(x-\bar x)^T(\bar x -y)\ge 0, \quad \forall x\in S
(x−xˉ)T(xˉ−y)≥0,∀x∈S
此即
−
x
ˉ
T
(
y
−
x
ˉ
)
≤
−
x
T
(
y
−
x
ˉ
)
,
∀
x
∈
S
(
1.3.16
)
-\bar x^T(y-\bar x)\le -x^T(y-\bar x),\quad \forall x\in S\qquad(1.3.16)
−xˉT(y−xˉ)≤−xT(y−xˉ),∀x∈S(1.3.16)
由于
∥
y
−
x
ˉ
∥
2
=
(
y
−
x
ˉ
)
T
(
y
−
x
ˉ
)
=
y
T
(
y
−
x
ˉ
)
−
x
ˉ
T
(
y
−
x
ˉ
)
\Vert y-\bar x\Vert^2=(y-\bar x)^T(y-\bar x)=y^T(y-\bar x)-\bar x^T(y-\bar x)
∥y−xˉ∥2=(y−xˉ)T(y−xˉ)=yT(y−xˉ)−xˉT(y−xˉ)
将其代入(1.3.16)有
y
T
(
y
−
x
ˉ
)
−
x
T
(
y
−
x
ˉ
)
≥
y
T
(
y
−
x
ˉ
)
−
x
ˉ
T
(
y
−
x
ˉ
)
=
∥
y
−
x
ˉ
∥
2
,
∀
x
∈
S
→
set
p
=
y
−
x
ˉ
→
p
T
(
y
−
x
)
≥
∥
y
−
x
ˉ
∥
2
→
p
T
y
≥
p
T
x
+
∥
y
−
x
ˉ
∥
2
,
∀
x
∈
S
y^T(y-\bar x)-x^T(y-\bar x)\ge y^T(y-\bar x)-\bar x^T(y-\bar x)=\Vert y-\bar x\Vert^2,\forall x\in S\\ \to\quad \text{set } p=y-\bar x\\ \to p^T(y-x)\ge \Vert y-\bar x\Vert^2\to p^Ty\ge p^Tx+\Vert y-\bar x\Vert^2,\forall x\in S
yT(y−xˉ)−xT(y−xˉ)≥yT(y−xˉ)−xˉT(y−xˉ)=∥y−xˉ∥2,∀x∈S→set p=y−xˉ→pT(y−x)≥∥y−xˉ∥2→pTy≥pTx+∥y−xˉ∥2,∀x∈S
令
α
=
sup
{
p
T
x
∣
x
∈
S
}
\alpha=\sup\{p^Tx\vert \ x\in S\}
α=sup{pTx∣ x∈S},就有
p
T
y
>
α
p^Ty\gt \alpha
pTy>α 和
p
T
x
≤
α
p^Tx\le \alpha
pTx≤α ,证毕。
□
\qquad\square
□
应用上述分离定理 1.3.18,可以得到在推导线性和非线性规划最优性条件中广泛利用的 Farkas 定理。
定理 1.3.19(Farkas 定理)
设
A
∈
R
m
×
n
,
c
∈
R
n
A\in R^{m\times n},c\in R^n
A∈Rm×n,c∈Rn,则下列两方程组有且仅有一组有解:
A
x
≤
0
,
c
T
x
>
0
,
for some
x
∈
R
n
(
1.3.17
)
A
T
y
=
c
,
y
≥
0
,
for some
y
∈
R
m
(
1.3.18
)
Ax\le 0,\quad c^Tx\gt 0,\quad \text{for some $x\in R^n$ }\qquad(1.3.17)\\ \text{ } \\A^Ty=c, \quad y\ge 0, \quad \text{for some $y\in R^m$ }\qquad(1.3.18)
Ax≤0,cTx>0,for some x∈Rn (1.3.17) ATy=c,y≥0,for some y∈Rm (1.3.18)
证明:
假设(1.3.18)有解,即存在
y
≥
0
y\ge0
y≥0,使得
A
T
y
=
c
A^Ty=c
ATy=c。设
x
x
x 满足
A
x
≤
0
Ax\le 0
Ax≤0,则因为
y
≥
0
y\ge 0
y≥0,有
c
T
x
=
y
T
A
x
≤
0
c^Tx=y^TAx\le 0
cTx=yTAx≤0
这表明(1.3.17)无解。
再假设(1.3.18)无解,记
S
=
{
x
∣
x
=
A
T
y
,
y
≥
0
}
S=\{x\vert \ x=A^Ty,\ y\ge 0\}
S={x∣ x=ATy, y≥0}
则
S
S
S 是非空闭凸集,且
c
∉
S
c\notin S
c∈/S。由定理 1.3.18,存在
p
∈
R
n
p\in R^n
p∈Rn 和
α
∈
R
\alpha \in R
α∈R,使得
p
T
c
>
α
and
p
T
x
≤
α
,
∀
x
∈
S
p^Tc\gt \alpha \quad \text{and} \quad p^Tx\le \alpha,\quad \forall x\in S
pTc>αandpTx≤α,∀x∈S
由于
0
∈
S
0 \in S
0∈S,故
α
≥
0
\alpha \ge 0
α≥0,因而
p
T
c
>
0
p^Tc\gt 0
pTc>0。又
α
≥
p
T
x
=
p
T
A
T
y
=
y
T
A
p
,
∀
y
≥
0
\alpha \ge p^Tx=p^TA^Ty=y^TAp,\quad \forall y\ge 0
α≥pTx=pTATy=yTAp,∀y≥0
由于
y
≥
0
y\ge 0
y≥0 可以任意大,故
A
p
≤
0
Ap\le 0
Ap≤0。这样我们构造了向量
p
∈
R
n
p\in R^n
p∈Rn,满足
A
p
≤
0
Ap\le 0
Ap≤0 和
p
T
c
>
0
p^Tc\gt0
pTc>0,从而(1.3.17)有解。
□
\quad\square
□
此处证明需注意, x , y , A x x,y,Ax x,y,Ax 均是矢量,所谓 y ≥ 0 y\ge 0 y≥0 表示 y = { y 1 , y 2 , ⋯   , y m } , ∀ y i ≥ 0 y=\{y_1, y_2, \cdots,y_m\},\ \forall y_i\ge 0 y={y1,y2,⋯,ym}, ∀yi≥0
为了研究两个凸集间的分离关系,我们引入了下面的支撑超平面定义,并给出超平面支撑凸集的定理。
定义 1.3.20
设
S
⊂
R
n
S\subset R^n
S⊂Rn 是非空集合,
p
∈
R
n
,
x
ˉ
∈
∂
S
p\in R^n, \bar x\in \partial S
p∈Rn,xˉ∈∂S,这里
∂
S
\partial S
∂S 表示
S
S
S 的边界,
∂
S
=
{
x
∈
R
n
∣
S
∩
N
δ
(
x
)
≠
∅
,
(
R
n
∖
S
)
∩
N
δ
(
x
)
≠
∅
,
∀
δ
>
0
}
\partial S=\{x\in R^n\vert S\cap N_{\delta}(x)\neq \empty, (R^n\setminus S)\cap N_{\delta}(x)\neq \empty, \forall \delta\gt0\}
∂S={x∈Rn∣S∩Nδ(x)̸=∅,(Rn∖S)∩Nδ(x)̸=∅,∀δ>0}
其中
N
δ
(
x
)
N_{\delta}(x)
Nδ(x) 表示
x
x
x 的
δ
\delta
δ 邻域,有
N
δ
(
x
)
=
{
y
∣
∥
y
−
x
∥
<
δ
}
N_{\delta}(x)=\{y\vert \ \Vert y-x \Vert\lt \delta\}
Nδ(x)={y∣ ∥y−x∥<δ}。若有
S
⊂
H
+
=
{
x
∈
S
∣
p
T
(
x
−
x
ˉ
)
≥
0
}
(
1.3.19
)
S\subset H^+=\{ x\in S\vert \ p^T(x-\bar x)\ge 0\}\qquad(1.3.19)
S⊂H+={x∈S∣ pT(x−xˉ)≥0}(1.3.19)
或
S
⊂
H
−
=
{
x
∈
S
∣
p
T
(
x
−
x
ˉ
)
≤
0
}
(
1.3.20
)
S\subset H^-=\{ x\in S\vert \ p^T(x-\bar x)\le 0\}\qquad(1.3.20)
S⊂H−={x∈S∣ pT(x−xˉ)≤0}(1.3.20)
则称超平面
H
=
{
x
∣
p
T
(
x
−
x
ˉ
)
=
0
}
H=\{x\vert \ p^T(x-\bar x)=0\}
H={x∣ pT(x−xˉ)=0} 是
S
S
S 在
x
ˉ
\bar x
xˉ 处的支撑超平面。此外,若
S
⊂
H
S\cancel\subset H
S⊂
H,则
H
H
H 称为
S
S
S 在
x
ˉ
\bar x
xˉ 的正常支撑超平面
。
现在,我们证明凸集在每一个边界点有一个支撑超平面
。
p p p 是超平面 H H H 的法线方向,而且在 x ˉ \bar x xˉ 上可能有多个法线方向,上述只是说明了存在性,并不对唯一性进行要求。
定理 1.3.21
设
S
⊂
R
n
S\subset R^n
S⊂Rn 是非空凸集,
x
ˉ
∈
∂
S
\bar x\in \partial S
xˉ∈∂S。那么,在
x
ˉ
\bar x
xˉ 处存在一个超平面支撑
S
S
S,即存在
非零向量
p
p
p,使得
p
T
(
x
−
x
ˉ
)
,
∀
x
∈
c
∣
S
,
(
1.3.21
)
p^T(x-\bar x),\quad \forall x\in c|S,\qquad (1.3.21)
pT(x−xˉ),∀x∈c∣S,(1.3.21)
这里
c
∣
S
c|S
c∣S 表示
S
S
S 的闭包,
c
∣
S
=
{
x
∈
R
n
∣
S
∩
N
δ
(
x
)
≠
∅
,
∀
δ
>
0
}
c|S=\{ x\in R^n| S\cap N_{\delta}(x)\neq \varnothing, \forall \delta\gt 0\}
c∣S={x∈Rn∣S∩Nδ(x)̸=∅,∀δ>0}
证明:
因为
x
ˉ
∈
S
\bar x\in S
xˉ∈S,故存在序列
{
y
k
}
⊂
c
∣
S
\{ y_k\} \cancel\subset c|S
{yk}⊂
c∣S,使得
y
k
→
x
ˉ
,
k
→
∞
(
1.3.22
)
y_k\to \bar x,\quad k\to \infty\qquad(1.3.22)
yk→xˉ,k→∞(1.3.22)
由定理1.3.18,对应于每一个
y
k
y_k
yk,存在
p
k
∈
R
n
p_k\in R^n
pk∈Rn 且
∥
p
k
∥
=
1
\Vert p_k\Vert =1
∥pk∥=1,使得
p
k
T
y
k
>
p
k
T
x
,
∀
x
∈
c
∣
S
(
1.3.23
)
p_k^Ty_k\gt p^T_kx,\quad \forall x\in c|S\qquad(1.3.23)
pkTyk>pkTx,∀x∈c∣S(1.3.23)
由于
p
k
p_k
pk 有界,故存在收敛子列
{
p
k
}
K
\{p_k\}_{\mathcal K}
{pk}K,其极限为
p
,
∥
p
∥
=
1
p,\Vert p\Vert=1
p,∥p∥=1。对于这个子序列,显然(1.3.23)成立。固定
x
∈
c
∣
S
x\in c|S
x∈c∣S,令
k
∈
K
,
k
→
∞
k\in \mathcal K,k\to\infty
k∈K,k→∞,取极限,便得到
p
T
(
x
−
x
ˉ
)
≤
0
p^T(x-\bar x)\le 0
pT(x−xˉ)≤0。由于这个不等式对所有
x
∈
c
∣
S
x\in c|S
x∈c∣S 成立,从而结果得证。
□
\quad\square
□
利用定理 1.3.18 和 1.3.21,立即得到下面的推论。
推论 1.3.22
设
S
⊂
R
n
S\subset R^n
S⊂Rn 是非空凸集,
x
ˉ
∈
S
\bar x\in S
xˉ∈S,那么存在非零向量
p
p
p 使得
p
T
(
x
−
x
ˉ
)
≤
0
,
∀
x
∈
c
∣
S
(
1.3.24
)
p^T(x-\bar x)\le 0, \quad \forall x\in c|S\qquad(1.3.24)
pT(x−xˉ)≤0,∀x∈c∣S(1.3.24)
现在,我们来讨论两个凸集的分离定理。
定义 1.3.23
设
S
1
,
S
2
⊂
R
n
S_1,S_2\subset R^n
S1,S2⊂Rn 是非空凸集,若
p
T
x
≥
α
,
∀
x
∈
S
1
and
p
T
x
≤
α
,
∀
x
∈
S
2
(
1.3.25
)
p^Tx\ge \alpha,\quad \forall x\in S_1 \quad\text{ and } \quad p^Tx\le \alpha,\quad \forall x\in S_2\qquad(1.3.25)
pTx≥α,∀x∈S1 and pTx≤α,∀x∈S2(1.3.25)
则称超平面
H
=
{
x
∣
p
T
x
=
α
}
H=\{x | \ p^Tx=\alpha\}
H={x∣ pTx=α} 分离
S
1
S_1
S1 和
S
2
S_2
S2。此外,若
S
1
∪
S
2
⊂
H
S_1 \cup S_2 \cancel \subset H
S1∪S2⊂
H,则称
H
H
H 为正常分离
S
1
S_1
S1 和
S
2
S_2
S2。若
p
T
x
>
α
,
∀
x
∈
S
1
and
p
T
x
<
α
,
∀
x
∈
S
2
(
1.3.26
)
p^Tx\gt\alpha,\quad \forall x\in S_1\quad \text{and} \quad p^Tx\lt \alpha,\quad\forall x\in S_2\qquad(1.3.26)
pTx>α,∀x∈S1andpTx<α,∀x∈S2(1.3.26)
则称
H
H
H 为严格分离
S
1
S_1
S1 和
S
2
S_2
S2。若
p
T
x
≥
α
+
ε
,
∀
x
∈
S
1
and
p
T
x
≤
α
,
∀
x
∈
S
2
(
1.3.27
)
p^Tx\ge\alpha+\varepsilon,\quad \forall x\in S_1\quad \text{and} \quad p^Tx\le \alpha,\quad\forall x\in S_2\qquad(1.3.27)
pTx≥α+ε,∀x∈S1andpTx≤α,∀x∈S2(1.3.27)
则称
H
H
H 为强分离
S
1
S_1
S1 和
S
2
S_2
S2,其中
ε
>
0
\varepsilon\gt0
ε>0。所谓强分离,应该是可以找出一些间隔的。
定理 1.3.24(两个凸集的分离定理
)
设
S
1
,
S
2
⊂
R
n
S_1,S_2\subset R^n
S1,S2⊂Rn 是非空凸集,若
S
1
∩
S
2
=
∅
S_1\cap S_2=\varnothing
S1∩S2=∅,则存在超平面分离
S
1
S_1
S1 和
S
2
S_2
S2,即存在非零向量
p
∈
R
n
p\in R^n
p∈Rn,使得
p
T
x
1
≤
p
T
x
2
,
∀
x
1
∈
c
∣
S
1
,
∀
x
2
∈
c
∣
S
2
(
1.3.28
)
p^Tx_1\le p^Tx_2,\quad \forall x_1\in c|S_1,\quad \forall x_2\in c|S_2\qquad (1.3.28)
pTx1≤pTx2,∀x1∈c∣S1,∀x2∈c∣S2(1.3.28)
证明:
设
S
=
S
1
−
S
2
=
{
x
1
−
x
2
∣
x
1
∈
S
1
,
x
2
∈
S
2
}
S=S_1-S_2=\{ x_1-x_2 | \ x_1\in S_1, x_2\in S_2\}
S=S1−S2={x1−x2∣ x1∈S1,x2∈S2}
因为
S
S
S 是凸集,并且
0
∈
S
0\cancel \in S
0∈
S(否则,
S
1
∩
S
2
≠
∅
S_1\cap S_2\neq \varnothing
S1∩S2̸=∅),故由推论 1.3.22 知存在非零向量
p
∈
R
n
p\in R^n
p∈Rn,使得
p
T
x
≤
p
T
0
=
0
,
∀
x
∈
c
∣
S
p^Tx\le p^T0=0,\quad \forall x\in c|S
pTx≤pT0=0,∀x∈c∣S
这意味着
p
T
x
1
≤
p
T
x
2
,
∀
x
1
∈
c
∣
S
1
,
∀
x
2
∈
c
∣
S
2
p^Tx_1\le p^Tx_2,\quad \forall x_1\in c|S_1,\quad \forall x_2\in c|S_2
pTx1≤pTx2,∀x1∈c∣S1,∀x2∈c∣S2
证毕。
□
\quad\square
□
上述分离定理可以加强而得到强分离定理。
定理 1.3.25(两个凸集的强分离定理)
设
S
1
,
S
2
⊂
R
n
S_1,S_2\subset R^n
S1,S2⊂Rn 是闭凸集,且
S
1
S_1
S1 有界。若
S
1
∩
S
2
=
∅
S_1\cap S_2=\varnothing
S1∩S2=∅,则存在超平面强分离
S
1
S_1
S1 和
S
2
S_2
S2,即存在非零向量
p
∈
R
n
p\in R^n
p∈Rn 和
ε
>
0
\varepsilon\gt 0
ε>0,使得
inf
{
p
T
x
∣
x
∈
S
1
}
≥
ε
+
sup
{
p
T
x
∣
x
∈
S
2
}
,
(
1.3.29
)
\inf \{p^Tx | x\in S_1\}\ge \varepsilon + \sup \{p^Tx | x\in S_2\},\qquad (1.3.29)
inf{pTx∣x∈S1}≥ε+sup{pTx∣x∈S2},(1.3.29)
证明:
设
S
=
S
1
−
S
2
S=S_1-S_2
S=S1−S2。注意到
S
S
S 是凸集,并且
0
∉
S
0\notin S
0∈/S。我们先证明
S
S
S 是闭的。设
{
x
k
}
⊂
S
,
x
k
→
x
\{x_k\}\subset S,x_k\to x
{xk}⊂S,xk→x。由
S
S
S 的定义,
x
k
=
y
k
−
z
k
,
y
k
∈
S
1
,
z
k
∈
S
2
x_k=y_k-z_k,\ y_k\in S_1,\ z_k\in S_2
xk=yk−zk, yk∈S1, zk∈S2。由于
S
1
S_1
S1 是紧的,故存在收敛子列
{
y
k
}
K
,
y
k
→
y
,
y
∈
S
1
,
k
∈
K
\{y_k\}_{\mathcal K},\ y_k\to y,\ y\in S_1,\ k\in\mathcal K
{yk}K, yk→y, y∈S1, k∈K。由于
y
k
−
z
k
→
x
,
y
k
→
y
,
for
k
∈
K
y_k-z_k\to x,\quad y_k\to y,\ \text{ for }\ k\in \mathcal K
yk−zk→x,yk→y, for k∈K
故有
z
k
→
z
z_k\to z
zk→z。由于
S
2
S_2
S2 是闭的,故
z
∈
S
2
z\in S_2
z∈S2,因此,
x
=
y
−
z
,
y
∈
S
1
,
z
∈
S
2
x=y-z, \ y\in S_1, \ z\in S_2
x=y−z, y∈S1, z∈S2
这表明
x
∈
S
x\in S
x∈S,从而
S
S
S 是闭的。
于是由定理 1.3.18 可知,存在非零向量
p
p
p 和实数
ε
\varepsilon
ε,使得
p
T
x
≥
ε
,
∀
x
∈
S
and
p
T
0
<
ε
p^Tx\ge \varepsilon, \quad \forall x\in S \ \text{ and } \ p^T0\lt \varepsilon
pTx≥ε,∀x∈S and pT0<ε
因此,
ε
>
0
\varepsilon \gt 0
ε>0,由
S
S
S 的定义,我们得到
p
T
x
1
≥
ε
+
p
T
x
2
,
∀
x
1
∈
S
1
,
x
2
∈
S
2
p^Tx_1 \ge \varepsilon + p^Tx_2, \quad \forall x_1\in S_1,\ x_2\in S_2
pTx1≥ε+pTx2,∀x1∈S1, x2∈S2
从而结果得证。
□
\quad \square
□