思想:数据集在低维空间线性不可分,在高维空间可能会线性可分。
feature mapping
原空间中的点
x
x
x,通过映射函数
ϕ
\phi
ϕ,映射到特征空间
ϕ
(
x
)
\phi(x)
ϕ(x)。
如下图所示:原二维空间中的点
x
=
(
x
1
,
x
2
)
x=(x_1,x_2)
x=(x1,x2)可以通过一个曲线
(
x
1
2
+
x
2
2
)
=
1
(x_1^2+x_2^2)=1
(x12+x22)=1分隔,通过映射函数
ϕ
(
x
)
=
(
z
1
,
z
2
,
z
3
)
=
(
x
1
2
,
2
x
1
x
2
,
x
2
2
)
\phi(x)=(z_1,z_2,z_3)=(x_1^2,\sqrt{2} x_1 x_2,x_2^2)
ϕ(x)=(z1,z2,z3)=(x12,2x1x2,x22)映射到三维空间,就可以通过一个平面分隔开。
红色的点都满足
z
1
2
+
z
3
2
<
1
z_1^2+z_3^2<1
z12+z32<1,红色的点都满足
z
1
2
+
z
3
2
>
1
z_1^2+z_3^2>1
z12+z32>1.
kernel function
K
(
x
,
y
)
=
ϕ
(
x
)
T
ϕ
(
y
)
K(x,y)=\phi(x)^T\phi(y)
K(x,y)=ϕ(x)Tϕ(y)
为什么要定义核函数呢?它是高维空间点的内积,由它可以知道数据集的几何分布,知道点之间的距离和角度。
参考:https://www.bilibili.com/video/av31552048/