说完训练数据线性可分(近似可分),我们就该考虑考虑训练数据非线性可分的情况了,非线性问题往往并不好求解,所以我们希望能用解线性分类问题的方法来解决这个问题。因此我们需要将非线性问题转化为线性问题,通过解转化后的线性问题的方法求解原来的非线性问题。
比如上面左边的图中,训练数据无法用直线(线性模型)将正负实例点正确分开,但用了一条椭圆曲线(非线性模型)可以将它们正确分开。我们将这左图中坐标 x(1) x ( 1 ) , x(2) x ( 2 ) 做一个变换,映射到新的空间中体现,就出现了右图,很明显,通过映射在新空间的训练数据可以被线性模型正确分开。
【映射函数】
我们定义 Φ(x):X→H Φ ( x ) : X → H 为映射函数, z=Φ(x) z = Φ ( x ) 表示将数据从原空间映射到新空间的。
如: Φ(x)=(x,x2,x3)T Φ ( x ) = ( x , x 2 , x 3 ) T ,一维映射到三维
Φ(x)=(x(1)2,2–√x(1)x(2),x(2)2)T Φ ( x ) = ( x ( 1 ) 2 , 2 x ( 1 ) x ( 2 ) , x ( 2 ) 2 ) T ,二维映射到三维
Φ(x)=(x(1)2,x(1)x(2),x(1)x(2),x(2)2)T Φ ( x ) = ( x ( 1 ) 2 , x ( 1 ) x ( 2 ) , x ( 1 ) x ( 2 ) , x ( 2 ) 2 ) T ,二维映射到四维
对于上图来说我们可以定义 z=Φ(x)=(x(1)2,x(2)2)T z = Φ ( x ) = ( x ( 1 ) 2 , x ( 2 ) 2 ) T 。
经过变换,原空间 X⊂R2 X ⊂ R 2 , x=(x(1),x(2))∈X x = ( x ( 1 ) , x ( 2 ) ) ∈ X 变换为新空间 Z⊂R2 Z ⊂ R 2 , z=(z(1),z(2))T z = ( z ( 1 ) , z ( 2 ) ) T
原空间中的椭圆: w1x(1)2+w2x(2)2+b=0 w 1 x ( 1 ) 2 + w 2 x ( 2 ) 2 + b = 0
变换为新空间的直线: w1z(1)+w2z(2)+b=0 w 1 z ( 1 ) + w 2 z ( 2 ) + b = 0
【核函数】
定义
设