核函数
在有的数据样本中,样本本就不是线性可分的。
所以,我们就希望 找到一个非线性函数,将样本数据由低维映射到高维,从而使得样本在高维空间下,是可以线性可分的。
cover theonemy: 高维比低维更容易线性可分。
即通过非线性带来高维的转换
假设这个非线性的映射函数为
z
=
ϕ
(
x
)
z = \phi(x)
z=ϕ(x)
则,映射之后,样本的特征由x变为z
但是
有的时候
ϕ
(
x
)
\phi(x)
ϕ(x)维度非常高,甚至为无限维。导致
ϕ
(
x
i
)
T
∗
ϕ
(
x
j
)
\phi(x_i)^T*\phi(x_j)
ϕ(xi)T∗ϕ(xj)的计算复杂度非常的高。
解决方法:使用核函数
因为观看模型,我们最终不是要得到
ϕ
(
x
)
\phi(x)
ϕ(x),我们只需得到
ϕ
(
x
i
)
T
∗
ϕ
(
x
j
)
\phi(x_i)^T*\phi(x_j)
ϕ(xi)T∗ϕ(xj)计算结果即可。
即想个方法,直接得到 ϕ ( x i ) T ∗ ϕ ( x j ) \phi(x_i)^T*\phi(x_j) ϕ(xi)T∗ϕ(xj)的结果,而不要通过计算内积得到 ϕ ( x i ) T ∗ ϕ ( x j ) \phi(x_i)^T*\phi(x_j) ϕ(xi)T∗ϕ(xj)值。
因此,我们定义一个核函数
k
(
x
,
x
′
)
k(x,x')
k(x,x′), 有
我们的目标就是需要找到满足这种条件的核函数。
比如,有
核函数正式定义: