给定一个二维向量
(
A
,
B
)
(A,B)
(A,B),所有垂直于此向量的点都满足:
A
x
+
B
y
=
0
Ax+By=0
Ax+By=0
这是因为,垂直后,向量内积恒为
0
0
0.
法方向
(
A
,
B
)
(A,B)
(A,B)和平移
C
C
C,可以表示二维空间所有直线:
A
x
+
B
y
+
C
=
0
Ax+By+C=0
Ax+By+C=0
可以写成
(
x
,
y
)
(
A
,
B
)
T
+
C
=
0
(x,y)(A,B)^T+C=0
(x,y)(A,B)T+C=0
对于
n
n
n维空间,给定平面法向量
w
w
w,令所有满足
[
w
,
x
]
=
0
[w,x]=0
[w,x]=0的向量(点)是
n
n
n维空间过原点的超平面。
那么
n
n
n为空间的所有超平面可以类似二维空间,表示为:
x
w
T
+
b
=
0
xw^T+b=0
xwT+b=0
n
n
n维空间中的点,到超平面的距离等于点到超平面的最短距离。
令
x
x
x为
n
n
n维空间某个超平面的点 :
x
w
T
+
b
=
0
xw^T+b=0
xwT+b=0
根据定义,点
P
P
P到超平面的距离显然为极小化:
∣
∣
x
−
P
∣
∣
2
||x-P||^2
∣∣x−P∣∣2
施瓦茨不等式
[
a
,
b
]
2
≤
[
a
,
a
]
[
b
,
b
]
[a,b]^2\leq[a,a][b,b]
[a,b]2≤[a,a][b,b]
证明: 构造方程:
∑
i
=
1
n
(
a
i
x
−
b
i
)
2
=
0
\sum_{i=1}^{n}(a_ix-b_i)^2=0
i=1∑n(aix−bi)2=0
由于:
(
a
i
x
−
b
i
)
≥
0
(a_ix-b_i)\geq0
(aix−bi)≥0,则由方程可得:
a
i
x
−
b
i
=
0
a_ix-b_i=0
aix−bi=0
所以,方程最多有一个根,则判别式
Δ
≤
0
\Delta \leq0
Δ≤0
∑
i
=
1
n
(
a
i
x
−
b
i
)
2
=
x
2
∑
i
=
1
n
a
i
2
−
2
x
∑
i
=
1
n
a
i
b
i
+
∑
i
=
1
n
a
i
b
i
\sum_{i=1}^{n}(a_ix-b_i)^2\\=x^2\sum_{i=1}^na_i^2-2x\sum_{i=1}^na_ib_i+\sum_{i=1}^na_ib_i
i=1∑n(aix−bi)2=x2i=1∑nai2−2xi=1∑naibi+i=1∑naibi
则:
Δ
=
4
(
∑
i
=
1
n
a
i
b
i
)
2
−
4
(
∑
i
=
1
n
a
i
2
)
(
∑
i
=
1
n
b
i
2
)
≤
0
\Delta =4\Big(\sum_{i=1}^na_ib_i\Big)^2-4\Big(\sum_{i=1}^na_i^2\Big)\Big(\sum_{i=1}^nb_i^2\Big)\leq0
Δ=4(i=1∑naibi)2−4(i=1∑nai2)(i=1∑nbi2)≤0
[
a
,
b
]
2
≤
[
a
,
a
]
[
b
,
b
]
[a,b]^2\leq[a,a][b,b]
[a,b]2≤[a,a][b,b] 得证。
根据施瓦茨不等式:
∣
∣
P
−
x
∣
∣
2
∣
∣
w
∣
∣
2
≥
[
P
−
x
,
w
]
2
||P-x||^2||w||^2\geq[P-x,w]^2
∣∣P−x∣∣2∣∣w∣∣2≥[P−x,w]2
∣
∣
P
−
x
∣
∣
2
≥
[
P
−
x
,
w
]
2
∣
∣
w
∣
∣
2
=
(
[
P
,
w
]
−
[
x
,
w
]
)
2
∣
∣
w
∣
∣
2
=
(
[
P
,
w
]
+
b
)
2
∣
∣
w
∣
∣
2
||P-x||^2\geq\frac{[P-x,w]^2}{||w||^2}=\frac{([P,w]-[x,w])^2}{||w||^2}\\=\frac{([P,w]+b)^2}{||w||^2}
∣∣P−x∣∣2≥∣∣w∣∣2[P−x,w]2=∣∣w∣∣2([P,w]−[x,w])2=∣∣w∣∣2([P,w]+b)2
也就是说:
∣
∣
P
−
x
∣
∣
2
≥
(
[
P
,
w
]
+
b
)
2
∣
∣
w
∣
∣
2
||P-x||^2\geq\frac{([P,w]+b)^2}{||w||^2}
∣∣P−x∣∣2≥∣∣w∣∣2([P,w]+b)2
可以看到,大于等于号右边都是常数,那么这也就是说
(
[
P
,
w
]
+
b
)
2
∣
∣
w
∣
∣
2
\frac{([P,w]+b)^2}{||w||^2}
∣∣w∣∣2([P,w]+b)2是点到超平面距离的下界。
因为
w
w
w是法向量,那么过
P
P
P向超平面做法向量,必然存在
x
′
x'
x′有:
P
−
x
′
=
k
w
P-x'=kw
P−x′=kw 其中
k
k
k为常数。
那么,
x
′
x'
x′带入不等式有:
∣
∣
P
−
x
′
∣
∣
2
=
∣
∣
k
w
∣
∣
2
=
k
2
∣
∣
w
∣
∣
2
||P-x'||^2=||kw||^2=k^2||w||^2
∣∣P−x′∣∣2=∣∣kw∣∣2=k2∣∣w∣∣2
(
[
P
,
w
]
+
b
)
2
∣
∣
w
∣
∣
2
=
(
[
x
+
k
w
,
w
]
+
b
)
2
∣
∣
w
∣
∣
2
=
(
[
x
,
w
]
+
b
+
k
∣
∣
w
∣
∣
2
)
2
∣
∣
w
∣
∣
2
=
k
2
∣
∣
w
∣
∣
2
\frac{([P,w]+b)^2}{||w||^2}=\frac{([x+kw,w]+b)^2}{||w||^2}\\=\frac{([x,w]+b+k||w||^2)^2}{||w||^2}=k^2||w||^2
∣∣w∣∣2([P,w]+b)2=∣∣w∣∣2([x+kw,w]+b)2=∣∣w∣∣2([x,w]+b+k∣∣w∣∣2)2=k2∣∣w∣∣2
那么,
P
P
P到超平面
[
x
,
w
]
+
b
=
0
[x,w]+b=0
[x,w]+b=0的距离为:
min
(
∣
∣
P
−
x
∣
∣
)
=
∣
[
P
,
w
]
+
b
∣
∣
∣
w
∣
∣
\min(||P-x||)=\frac{\Big|[P,w]+b\Big|}{||w||}
min(∣∣P−x∣∣)=∣∣w∣∣∣∣∣[P,w]+b∣∣∣