投影 projection
对于一个闭的凸的集合
V
V
V,
z
=
P
V
(
x
)
z=P_V(x)
z=PV(x)是投影,则
⟨
v
−
z
,
x
−
z
⟩
≤
0
,
∀
v
∈
V
\langle v-z,x-z \rangle \leq 0, \forall v\in V
⟨v−z,x−z⟩≤0,∀v∈V
投影算子是非膨胀的,满足
∥
P
V
(
x
)
−
P
V
(
y
)
∥
≤
∥
x
−
y
∥
\|P_V(x)-P_V(y)\| \leq\|x-y\|
∥PV(x)−PV(y)∥≤∥x−y∥
分离定理 Separation Theorems
A convex closed set and a point outside of it can be separated by a plane.
对于一个闭的凸的集合
V
V
V以及集合外一点
x
x
x,存在一个非零的
y
y
y和
ϵ
=
∥
y
∥
>
0
\epsilon=\|y\|>0
ϵ=∥y∥>0,
⟨
y
,
v
⟩
≤
⟨
y
,
x
⟩
−
ϵ
,
∀
v
∈
V
\langle y,v \rangle \leq \langle y,x \rangle-\epsilon, \forall v\in V
⟨y,v⟩≤⟨y,x⟩−ϵ,∀v∈V
证明:
⟨
x
−
P
v
(
x
)
,
v
−
P
v
(
x
)
⟩
⩽
0
y
=
x
−
P
v
(
x
)
⇒
y
≠
0
⟨
y
,
v
−
P
v
(
x
)
⟩
⩽
0
⇒
⟨
y
,
v
⟩
≤
⟨
y
,
P
v
(
x
)
⟩
=
⟨
y
,
x
−
y
⟩
=
⟨
y
,
x
⟩
−
∥
y
∥
2
.
\begin{aligned} & \left\langle x-P_{v}(x), v-P_{v}(x) \rangle \leqslant 0\right. \\ & y=x-P_{v}(x) \Rightarrow y \neq 0 \\ & \left\langle y, v-P_{v}(x)\rangle \leqslant {0}\Rightarrow \langle y, v\rangle \leq\left\langle y, P_{v}(x)\right\rangle=\langle y, x-y\rangle=\langle y, x\rangle-\|y\| ^2.\right. \end{aligned}
⟨x−Pv(x),v−Pv(x)⟩⩽0y=x−Pv(x)⇒y=0⟨y,v−Pv(x)⟩⩽0⇒⟨y,v⟩≤⟨y,Pv(x)⟩=⟨y,x−y⟩=⟨y,x⟩−∥y∥2.
如果条件中的闭去掉,则
ϵ
\epsilon
ϵ也去掉。
若两个凸集
X
1
,
X
2
X_1,X_2
X1,X2存在交集,则在交集中存在一个非零向量
y
y
y,
⟨
y
,
x
1
⟩
≤
⟨
y
,
x
2
⟩
,
∀
x
1
∈
X
1
,
x
2
∈
X
2
.
\left\langle y, x^{1}\right\rangle \leq\left\langle y, x^{2}\right\rangle ,\forall x^{1} \in X_{1}, x^{2} \in X_{2} \text {. }
⟨y,x1⟩≤⟨y,x2⟩,∀x1∈X1,x2∈X2. 同样,如果是闭集还要在右侧减去
ϵ
\epsilon
ϵ