超平面

超平面

之前学习过单层感知机。对超平面有一个感性的认识。
笼统的说超平面其实就是 n n n维空间的 n − 1 n-1 n1维子空间
类似于二维空间的直线, 三维空间的平面。
为了 导出超平面的定义,其实我们需要从新看待直线的定义.
将方向的影响考虑到直线中。
给定一个二维向量 ( A , B ) (A,B) (A,B),所有垂直于此向量的点都满足: A x + B y = 0 Ax+By=0 Ax+By=0
这是因为,垂直后,向量内积恒为 0 0 0.
法方向 ( A , B ) (A,B) (A,B)和平移 C C C,可以表示二维空间所有直线:
A x + B y + C = 0 Ax+By+C=0 Ax+By+C=0
可以写成 ( x , y ) ( A , B ) T + C = 0 (x,y)(A,B)^T+C=0 (x,y)(A,B)T+C=0
对于 n n n维空间,给定平面法向量 w w w,令所有满足 [ w , x ] = 0 [w,x]=0 [w,x]=0的向量(点)是 n n n维空间过原点的超平面。
那么 n n n为空间的所有超平面可以类似二维空间,表示为: x w T + b = 0 xw^T+b=0 xwT+b=0
n n n维空间中的点,到超平面的距离等于点到超平面的最短距离。
x x x n n n维空间某个超平面的点 : x w T + b = 0 xw^T+b=0 xwT+b=0
根据定义,点 P P P到超平面的距离显然为极小化: ∣ ∣ x − P ∣ ∣ 2 ||x-P||^2 xP2

施瓦茨不等式 [ a , b ] 2 ≤ [ a , a ] [ b , b ] [a,b]^2\leq[a,a][b,b] [a,b]2[a,a][b,b]

证明: 构造方程: ∑ i = 1 n ( a i x − b i ) 2 = 0 \sum_{i=1}^{n}(a_ix-b_i)^2=0 i=1n(aixbi)2=0
由于: ( a i x − b i ) ≥ 0 (a_ix-b_i)\geq0 (aixbi)0,则由方程可得: a i x − b i = 0 a_ix-b_i=0 aixbi=0
所以,方程最多有一个根,则判别式 Δ ≤ 0 \Delta \leq0 Δ0
∑ i = 1 n ( a i x − b i ) 2 = x 2 ∑ i = 1 n a i 2 − 2 x ∑ i = 1 n a i b i + ∑ i = 1 n a i b i \sum_{i=1}^{n}(a_ix-b_i)^2\\=x^2\sum_{i=1}^na_i^2-2x\sum_{i=1}^na_ib_i+\sum_{i=1}^na_ib_i i=1n(aixbi)2=x2i=1nai22xi=1naibi+i=1naibi
则: Δ = 4 ( ∑ i = 1 n a i b i ) 2 − 4 ( ∑ i = 1 n a i 2 ) ( ∑ i = 1 n b i 2 ) ≤ 0 \Delta =4\Big(\sum_{i=1}^na_ib_i\Big)^2-4\Big(\sum_{i=1}^na_i^2\Big)\Big(\sum_{i=1}^nb_i^2\Big)\leq0 Δ=4(i=1naibi)24(i=1nai2)(i=1nbi2)0
[ a , b ] 2 ≤ [ a , a ] [ b , b ] [a,b]^2\leq[a,a][b,b] [a,b]2[a,a][b,b] 得证。
根据施瓦茨不等式: ∣ ∣ P − x ∣ ∣ 2 ∣ ∣ w ∣ ∣ 2 ≥ [ P − x , w ] 2 ||P-x||^2||w||^2\geq[P-x,w]^2 Px2w2[Px,w]2
∣ ∣ P − x ∣ ∣ 2 ≥ [ P − x , w ] 2 ∣ ∣ w ∣ ∣ 2 = ( [ P , w ] − [ x , w ] ) 2 ∣ ∣ w ∣ ∣ 2 = ( [ P , w ] + b ) 2 ∣ ∣ w ∣ ∣ 2 ||P-x||^2\geq\frac{[P-x,w]^2}{||w||^2}=\frac{([P,w]-[x,w])^2}{||w||^2}\\=\frac{([P,w]+b)^2}{||w||^2} Px2w2[Px,w]2=w2([P,w][x,w])2=w2([P,w]+b)2
也就是说: ∣ ∣ P − x ∣ ∣ 2 ≥ ( [ P , w ] + b ) 2 ∣ ∣ w ∣ ∣ 2 ||P-x||^2\geq\frac{([P,w]+b)^2}{||w||^2} Px2w2([P,w]+b)2
可以看到,大于等于号右边都是常数,那么这也就是说 ( [ P , w ] + b ) 2 ∣ ∣ w ∣ ∣ 2 \frac{([P,w]+b)^2}{||w||^2} w2([P,w]+b)2是点到超平面距离的下界。
因为 w w w是法向量,那么过 P P P向超平面做法向量,必然存在 x ′ x' x有: P − x ′ = k w P-x'=kw Px=kw 其中 k k k为常数。
那么, x ′ x' x带入不等式有: ∣ ∣ P − x ′ ∣ ∣ 2 = ∣ ∣ k w ∣ ∣ 2 = k 2 ∣ ∣ w ∣ ∣ 2 ||P-x'||^2=||kw||^2=k^2||w||^2 Px2=kw2=k2w2
( [ P , w ] + b ) 2 ∣ ∣ w ∣ ∣ 2 = ( [ x + k w , w ] + b ) 2 ∣ ∣ w ∣ ∣ 2 = ( [ x , w ] + b + k ∣ ∣ w ∣ ∣ 2 ) 2 ∣ ∣ w ∣ ∣ 2 = k 2 ∣ ∣ w ∣ ∣ 2 \frac{([P,w]+b)^2}{||w||^2}=\frac{([x+kw,w]+b)^2}{||w||^2}\\=\frac{([x,w]+b+k||w||^2)^2}{||w||^2}=k^2||w||^2 w2([P,w]+b)2=w2([x+kw,w]+b)2=w2([x,w]+b+kw2)2=k2w2
那么, P P P到超平面 [ x , w ] + b = 0 [x,w]+b=0 [x,w]+b=0的距离为: min ⁡ ( ∣ ∣ P − x ∣ ∣ ) = ∣ [ P , w ] + b ∣ ∣ ∣ w ∣ ∣ \min(||P-x||)=\frac{\Big|[P,w]+b\Big|}{||w||} min(Px)=w[P,w]+b
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值