核方法
核方法利用映射 ϕ ( x ) \phi(x) ϕ(x)将输入空间 X \mathcal{X} X转换为特征空间 Z \mathcal{Z} Z。
从模型角度上看，核方法的非线性带来了高维转换，即 x → ϕ ( x ) x\rightarrow\phi(x) x→ϕ(x) ，从而利用高维比低维更容易线性可分的优点，来对模型进行调整。
从优化的角度上看，核方法带来了内积，即
x
i
T
x
j
→
k
(
x
i
,
x
j
)
=
ϕ
(
x
i
)
T
ϕ
(
x
j
)
x_i^Tx_j \rightarrow k(x_i,x_j)=\phi(x_i)^T\phi(x_j)
xiTxj→k(xi,xj)=ϕ(xi)Tϕ(xj)，并且可以直接通过核函数
k
(
x
i
,
x
j
)
k(x_i,x_j)
k(xi,xj)求得内积，而并不需要先求得复杂的
ϕ
(
x
i
)
\phi(x_i)
ϕ(xi)。以高斯核为例，
k
(
x
,
x
′
)
=
exp
(
−
(
x
−
x
′
)
2
σ
2
)
k(x,x^{'})=\exp(-\frac{(x-x^{'})}{2\sigma^2})
k(x,x′)=exp(−2σ2(x−x′))
核函数将高维度的内积运算转换到了低维度，从而避免了“维数灾难”
扫一扫
4693
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
