问题描述:求一个任意点,到一个超平面的距离
超平面表示
在线性代数中,一个超平面可以用下式表示
y
(
X
)
=
W
T
X
+
w
0
\ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0
y(X)=WTX+w0
证明W是超平面的法向量
在超平面上任取俩个点Xa,Xb。因为 y ( X a ) = y ( X b ) = 0 \ y(\mathbf{Xa}) = y(\mathbf{Xb}) = 0 y(Xa)=y(Xb)=0,所以我们可以得到: W T ( X a − X b ) = 0 \ \mathbf{W}^{T}(\mathbf{Xa}-\mathbf{Xb}) = 0 WT(Xa−Xb)=0,由此我们可以得知W就是超平面的法向量
距离公式推导
根据高中所学,很直观点M到线段Nq的距离可以表示为
∥
M
q
∥
=
∥
M
N
∥
⋅
cos
(
Θ
)
\ \left\| Mq \right\|= \left\| MN \right\|\cdot \cos \left ( \Theta \right )
∥Mq∥=∥MN∥⋅cos(Θ) (式子1)
∥
M
q
∥
=
∥
W
∥
∥
W
∥
⋅
∥
M
N
∥
⋅
cos
(
Θ
)
\ \left\| Mq \right\|= \frac{\left\| \mathbf{W} \right\|}{\left\| \mathbf{W} \right\|} \cdot \left\|\mathbf{MN} \right\|\cdot \cos \left ( \Theta \right )
∥Mq∥=∥W∥∥W∥⋅∥MN∥⋅cos(Θ) (式子2)
又因为
W
⋅
M
N
=
∥
W
∥
⋅
∥
M
N
∥
⋅
cos
(
Θ
)
\ \mathbf{W} \cdot \mathbf{MN}= \left\| \mathbf{W} \right\| \cdot \left\| \mathbf{MN} \right\|\cdot \cos \left ( \Theta \right )
W⋅MN=∥W∥⋅∥MN∥⋅cos(Θ)
式子2可以改写为:
∥
M
q
∥
=
M
N
⋅
W
∥
W
∥
⋅
cos
(
Θ
)
\ \left\| Mq \right\|= \frac{ \mathbf{MN} \cdot \mathbf{W} }{\left\| \mathbf{W} \right\|} \cdot \cos \left ( \Theta \right )
∥Mq∥=∥W∥MN⋅W⋅cos(Θ) (式子3)
几何距离推导
- 求原点到超平面
y
(
X
)
=
W
T
X
+
w
0
\ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0
y(X)=WTX+w0 的距离
假设X"为超平面上任意一点,OX"向量就是用 X" 表示,由公式3可知
∥ O Q ∥ = M N ⋅ X " ∥ W ∥ ⋅ cos ( Θ ) \ \left\| OQ \right\|= \frac{ \mathbf{MN} \cdot \mathbf{X"} }{\left\| \mathbf{W} \right\|} \cdot \cos \left ( \Theta \right ) ∥OQ∥=∥W∥MN⋅X"⋅cos(Θ)
利用矩阵乘法的性质,俩个向量 X ,Y的点乘等价于 X T Y \ X^{T} Y XTY
W T ⋅ X " ∥ W ∥ = − w 0 ∥ W ∥ \ \frac{\mathbf{W}^{T} \cdot \textbf{X}"}{\left\| \textbf{W} \right\|} = - \frac{w0}{\left\| \textbf{W} \right\|} ∥W∥WT⋅X"=−∥W∥w0 - 求任意一点到超平面的距离
设X"为X到超平面映射点,即XX"与超平面垂直
O X ⃗ = O X " ⃗ + X " X ⃗ \ \vec{OX} = \vec{OX"} + \vec{X"X} OX=OX"+X"X
X = X " + r ⋅ W ∥ W ∥ \ X = X" + r \cdot \frac{W}{\left\| W \right\|} X=X"+r⋅∥W∥W
有因为 y ( X ) = W T X + w 0 \ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0 y(X)=WTX+w0
y ( X " ) = W T X " + w 0 = 0 \ y(\mathbf{X"}) = \mathbf{W}^{T}\mathbf{X"} + w0 = 0 y(X")=WTX"+w0=0
求得
r = y ( x ) ) ∥ W ∥ \ r = \frac{y(\textbf{x}))}{\left \| W \right \|} r=∥W∥y(x))
函数距离推导
不考虑
∥
W
∥
\ \left \| W \right \|
∥W∥
r
=
y
(
x
)
\ r = y(\textbf{x})
r=y(x)
应用
- 线性分类器推导 PRML chapter 4
- SVM推导,《统计学习方法》P97