前言
总算要对稍微有点难度的地方动手了,前面介绍的线性可分或者线性不可分的情况,都是使用平面作为分割面的,现在我们采用另一种分割面的设计方法,也就是核方法。
核方法涉及的分割面不再是
w
x
+
b
=
0
wx+b=0
wx+b=0,而是
f
(
x
)
=
0
f(x)=0
f(x)=0了。
具体内容
核方法其实就是坐标映射方法,类似于我们进行回归的时候对于反函数曲线采用 y = w x + b y=\frac{w}{x}+b y=xw+b的形式来对数据进行拟合。
我们常用的标准做法都是先将原始数据 x x x映射为 1 x \frac{1}{x} x1,然后对于数据 ( 1 x , y ) (\frac{1}{x},y) (x1,y)寻找线性函数 y = k t + b y=kt+b y=kt+b来拟合。
在非线性支持向量机中,我们需要把原始特征x
通过映射函数变换为
ϕ
(
x
)
\phi(x)
ϕ(x),对于这个映射函数没有什么要求,只不过什么样的映射函数映射以后分类效果最佳是未知的,是需要通过比较才能发现的。
映射函数一般都是把原始特征
x
x
x变为另一个向量
[
1
,
x
1
,
⋯
,
x
n
,
x
1
2
,
⋯
,
x
i
x
j
,
⋯
,
x
n
2
,
⋯
]
[1,x_1,\cdots,x_n,x_1^2,\cdots,x_ix_j,\cdots,x_n^2,\cdots]
[1,x1,⋯,xn,x12,⋯,xixj,⋯,xn2,⋯]其中的一项或者几项,具体是几项视具体情况确定,这个的目标是保留原始信息同时要增加尽可能多的生成信息,所以一般往高维方向映射。
当然这个函数设计好以后,我们在支持向量机的对偶函数中其实计算的是
K
(
x
i
,
x
j
)
K(x_i,x_j)
K(xi,xj),这个函数是上面映射函数的乘积,可能计算更加复杂,所以从方便对偶函数的计算角度出发,设计了专门的对偶核函数,不过对偶核函数是有要求的,需要对所有特征
x
x
x所构成的gram矩阵是半正定的。
而这种情况下我们可以设计方便计算的核函数,比如:
多项式核函数:
K
(
x
,
z
)
=
(
x
⋅
z
+
1
)
p
K(x,z)=(x\cdot z+1)^p
K(x,z)=(x⋅z+1)p,计算难度大大减小,而且这个多项式核函数对应的映射函数也比较好求:
K
(
x
,
z
)
=
(
x
⋅
z
+
1
)
2
=
(
x
1
z
1
+
x
2
z
2
+
1
)
2
=
x
1
2
z
1
2
+
2
x
1
x
2
z
1
z
2
+
2
x
1
z
1
+
x
2
2
z
2
2
+
2
x
2
z
2
+
1
=
[
x
1
2
,
2
x
1
x
2
,
2
x
1
,
x
2
2
,
2
x
2
,
1
]
∗
[
z
1
2
,
2
z
1
z
2
,
2
z
1
,
z
2
2
,
2
z
2
,
1
]
T
\begin{align*} K(x,z)&=(x\cdot z+1)^2\\ &=(x_1z_1+x_2z_2+1)^2\\ &=x_1^2z_1^2+2x_1x_2z_1z_2+2x_1z_1+x_2^2z_2^2+2x_2z_2+1\\ &=[x_1^2,\sqrt{2}x_1x_2,\sqrt{2}x_1,x_2^2,\sqrt{2}x_2,1]*[z_1^2,\sqrt{2}z_1z_2,\sqrt{2}z_1,z_2^2,\sqrt{2}z_2,1]^T \end{align*}
K(x,z)=(x⋅z+1)2=(x1z1+x2z2+1)2=x12z12+2x1x2z1z2+2x1z1+x22z22+2x2z2+1=[x12,2x1x2,2x1,x22,2x2,1]∗[z12,2z1z2,2z1,z22,2z2,1]T
相当于截取了泰勒展开式中的前几项。
换句话说,如果我们想将坐标映射为
[
1
,
x
1
,
x
2
,
x
1
2
,
x
1
x
2
,
x
2
2
]
[1,x_1,x_2,x_1^2,x_1x_2,x_2^2]
[1,x1,x2,x12,x1x2,x22],然后利用映射后的坐标来计算
w
[
1
,
x
1
,
x
2
,
x
1
2
,
x
1
x
2
,
x
2
2
]
T
+
b
w[1,x_1,x_2,x_1^2,x_1x_2,x_2^2]^T+b
w[1,x1,x2,x12,x1x2,x22]T+b来作为判别函数,那么这个分界面问题的对偶函数中
ϕ
(
x
i
)
ϕ
(
x
j
)
\phi(x_i)\phi(x_j)
ϕ(xi)ϕ(xj)就是上面的
(
x
⋅
z
+
1
)
p
(x\cdot z+1)^p
(x⋅z+1)p的形式,也就是我们不用知道中间映射后的坐标,而可以直接计算
(
x
i
⋅
x
j
+
1
)
p
(x_i\cdot x_j+1)^p
(xi⋅xj+1)p。
高斯核函数;
K
(
x
,
z
)
=
exp
(
−
∥
x
−
z
∥
2
2
σ
2
)
K(x,z)=\exp(-\frac{{\|x-z\|}^2}{2\sigma^2})
K(x,z)=exp(−2σ2∥x−z∥2),计算难度大大减小,但是这个核函数对应的映射函数不容易求出来。
K
(
x
,
z
)
=
exp
(
−
(
x
1
−
z
1
)
2
+
(
x
2
−
z
2
)
2
2
σ
2
)
=
exp
(
−
x
1
2
+
z
1
2
−
2
x
1
z
1
+
x
2
2
+
z
2
2
−
2
x
2
z
2
2
σ
2
)
=
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
z
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
exp
(
−
z
2
2
2
σ
2
)
exp
(
2
x
1
z
1
2
σ
2
)
exp
(
2
x
2
z
2
2
σ
2
)
=
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
z
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
exp
(
−
z
2
2
2
σ
2
)
[
1
+
2
x
1
z
1
2
σ
2
+
⋯
+
1
n
!
(
2
x
1
z
1
2
σ
2
)
n
+
⋯
]
[
1
+
2
x
2
z
2
2
σ
2
+
⋯
+
1
n
!
(
2
x
2
z
2
2
σ
2
)
n
+
⋯
]
=
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
z
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
exp
(
−
z
2
2
2
σ
2
)
[
∑
t
=
0
+
∞
∑
k
=
0
+
∞
1
t
!
(
2
x
1
z
1
2
σ
2
)
t
1
k
!
(
2
x
2
z
2
2
σ
2
)
k
]
=
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
[
1
,
x
1
σ
,
⋯
,
1
n
!
(
x
1
σ
)
n
,
⋯
,
x
2
σ
,
x
1
x
2
σ
2
,
⋯
,
1
n
!
(
x
1
n
x
2
σ
n
+
1
)
,
⋯
,
1
t
!
n
!
x
1
t
x
2
n
σ
t
+
n
,
⋯
]
∗
exp
(
−
z
1
2
2
σ
2
)
exp
(
−
z
2
2
2
σ
2
)
[
1
,
z
1
σ
,
⋯
,
1
n
!
(
z
1
σ
)
n
,
⋯
,
z
2
σ
,
z
1
z
2
σ
2
,
⋯
,
1
n
!
(
z
1
n
z
2
σ
n
+
1
)
,
⋯
,
1
t
!
n
!
z
1
t
z
2
n
σ
t
+
n
,
⋯
]
\begin{align*} K(x,z)=&\exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2+z_1^2-2x_1z_1+x_2^2+z_2^2-2x_2z_2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})\exp(\frac{2x_1z_1}{2\sigma^2})\exp(\frac{2x_2z_2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1+\frac{2x_1z_1}{2\sigma^2}+\cdots+\frac{1}{n!}(\frac{2x_1z_1}{2\sigma^2})^n+\cdots][1+\frac{2x_2z_2}{2\sigma^2}+\cdots+\frac{1}{n!}(\frac{2x_2z_2}{2\sigma^2})^n+\cdots]\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[\sum_{t=0}^{+\infty}\sum_{k=0}^{+\infty}\frac{1}{t!}(\frac{2x_1z_1}{2\sigma^2})^t\frac{1}{k!}(\frac{2x_2z_2}{2\sigma^2})^k]\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]*\\ &\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1,\frac{z_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1}{\sigma})^n,\cdots,\frac{z_2}{\sigma},\frac{z_1z_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1^nz_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{z_1^tz_2^n}{\sigma^{t+n}},\cdots] \end{align*}
K(x,z)======exp(−2σ2(x1−z1)2+(x2−z2)2)exp(−2σ2x12+z12−2x1z1+x22+z22−2x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)exp(2σ22x1z1)exp(2σ22x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[1+2σ22x1z1+⋯+n!1(2σ22x1z1)n+⋯][1+2σ22x2z2+⋯+n!1(2σ22x2z2)n+⋯]exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[t=0∑+∞k=0∑+∞t!1(2σ22x1z1)tk!1(2σ22x2z2)k]exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1(σx1)n,⋯,σx2,σ2x1x2,⋯,n!1(σn+1x1nx2),⋯,t!n!1σt+nx1tx2n,⋯]∗exp(−2σ2z12)exp(−2σ2z22)[1,σz1,⋯,n!1(σz1)n,⋯,σz2,σ2z1z2,⋯,n!1(σn+1z1nz2),⋯,t!n!1σt+nz1tz2n,⋯]
所以两个映射函数分别如上所示:
ϕ
(
x
)
=
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
[
1
,
x
1
σ
,
⋯
,
1
n
!
(
x
1
σ
)
n
,
⋯
,
x
2
σ
,
x
1
x
2
σ
2
,
⋯
,
1
n
!
(
x
1
n
x
2
σ
n
+
1
)
,
⋯
,
1
t
!
n
!
x
1
t
x
2
n
σ
t
+
n
,
⋯
]
\phi(x)=\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]
ϕ(x)=exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1(σx1)n,⋯,σx2,σ2x1x2,⋯,n!1(σn+1x1nx2),⋯,t!n!1σt+nx1tx2n,⋯]
如果只看后面的向量的话,他就是泰勒展开式中各个项,但是它前面还乘上了系数
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})
exp(−2σ2x12)exp(−2σ2x22)缩放了一下。
换句话说,这个映射函数把原始特征映射为了一个无穷维的坐标,我们实际上做的是用这个映射后的坐标
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
[
1
,
x
1
σ
,
⋯
,
1
n
!
(
x
1
σ
)
n
,
⋯
,
x
2
σ
,
x
1
x
2
σ
2
,
⋯
,
1
n
!
(
x
1
n
x
2
σ
n
+
1
)
,
⋯
,
1
t
!
n
!
x
1
t
x
2
n
σ
t
+
n
,
⋯
]
\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]
exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1(σx1)n,⋯,σx2,σ2x1x2,⋯,n!1(σn+1x1nx2),⋯,t!n!1σt+nx1tx2n,⋯]去构成分界面
w
exp
(
−
x
1
2
2
σ
2
)
exp
(
−
x
2
2
2
σ
2
)
[
1
,
x
1
σ
,
⋯
,
1
n
!
(
x
1
σ
)
n
,
⋯
,
x
2
σ
,
x
1
x
2
σ
2
,
⋯
,
1
n
!
(
x
1
n
x
2
σ
n
+
1
)
,
⋯
,
1
t
!
n
!
x
1
t
x
2
n
σ
t
+
n
,
⋯
]
+
b
w\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]+b
wexp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1(σx1)n,⋯,σx2,σ2x1x2,⋯,n!1(σn+1x1nx2),⋯,t!n!1σt+nx1tx2n,⋯]+b作为分界面,其中
w
w
w为无穷维向量,那么这个分界面问题的对偶函数中
ϕ
(
x
i
)
ϕ
(
x
j
)
\phi(x_i)\phi(x_j)
ϕ(xi)ϕ(xj)就是上面的
exp
(
−
(
x
1
−
z
1
)
2
+
(
x
2
−
z
2
)
2
2
σ
2
)
\exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2})
exp(−2σ2(x1−z1)2+(x2−z2)2)的形式,也就是我们不用知道中间映射后的坐标,而可以直接计算
exp
(
−
(
x
1
−
z
1
)
2
+
(
x
2
−
z
2
)
2
2
σ
2
)
\exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2})
exp(−2σ2(x1−z1)2+(x2−z2)2)。