本文介绍了如何使用核技巧解决非线性分类问题，特别是在支持向量机中的应用。通过非线性变换将原空间的非线性可分问题转化为新空间的线性可分问题，进而利用线性分类方法求解。常见的核函数如多项式核和高斯核被详细阐述，最后解释了非线性支持向量分类机的学习算法。
一、核技巧
非线性分类问题：
- 下图是一个非线性分类问题：
由图可见，无法用直线(线性模型)将正负实例正确分开，但可以用一条椭圆曲线(非线性模型)将它们正确分开.
- 对给定的一个训练数据集 T = ( x 1 ， y 1 ) , ( x 2 ， y 2 ) , … , ( x N ， y N ) T={(x_1，y_1 ),(x_2，y_2 ),…,(x_N，y_N )} T=(x1，y1),(x2，y2),…,(xN，yN)其中， x i ∈ X ∈ R n ， y i ∈ − 1 , + 1 x_i∈X∈R^n，y_i∈{-1,+1} xi∈X∈Rn，yi∈−1,+1，如果能用 R n R^n Rn中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题.
- 非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题.所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题.下图为上图经过非线性变换后的效果图：
图中将椭圆变换成直线，将非线性分类问题变换为线性分类问题.
- **具体过程:**设原空间为 X ∈ R 2 , x = ( x ( 1 ) , x ( 2 ) ) X∈R^2,x=(x^{(1) },x^{(2) } ) X∈R2,x=(x(1),x(2))，新空间为 Z ∈ R 2 ， z = ( z ( 1 ) , z ( 2 ) ) Z∈R^2，z=(z^{(1) },z^{(2) }) Z∈R2，z=(z(1),z(2))，定义从原空间到新空间的变换(映射)： z = ϕ ( x ) = ( ( x ( 1 ) ) 2 , ( x ( 2 ) ) 2 ) T z=ϕ(x)=((x^{(1) } )^2,(x^{(2) } )^2 )^T z=ϕ(x)=((x(1))2,(x(2))2)T 经过变换,原空间中的点相应地变换为新空间中的点，原空间中的椭圆: w 1 ( x ( 1 ) ) 2 + w 2 ( x ( 2 ) ) 2 + b = 0 w_1 (x^{(1) } )^2+w_2 (x^{(2) } )^2+b=0 w1(x(1))2+w2(x(2))2+b=0变换成为新空间中的直线: w 1 z ( 1 ) + w 2 z ( 2 ) + b = 0 w_1 z^{(1)}+w_2 z^{(2)}+b=0 w1z(1)+w2
最低0.47元/天 解锁文章
扫一扫
898
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
