核函数
- 非线性带来高维转换（从模型角度）
- 对偶表示带来内积（从优化角度）
对于一个非线性可分的问题=>转成线性可分的问题
对于原始的空间 x = ( x 1 , x 2 ) x=(x_1,x_2) x=(x1,x2)二维=> Φ ( x ) \Phi(x) Φ(x)=> Z = ( x 1 , x 2 , ( x 1 − x 2 ) 2 Z=(x_1,x_2,(x_1-x_2)^{2} Z=(x1,x2,(x1−x2)2) 三维
高维空间比低维空间更易线性可分
二、核函数Kernel Function
k
(
x
,
x
′
)
=
Φ
(
x
)
T
Φ
(
x
′
)
=
<
Φ
(
x
)
T
,
Φ
(
x
′
)
>
k(x,x')=\Phi(x)^T\Phi(x')=<\Phi(x)^T,\Phi(x')>
k(x,x′)=Φ(x)TΦ(x′)=<Φ(x)T,Φ(x′)>
k
(
x
,
x
′
)
k(x,x')
k(x,x′)是一个核函数，核函数避免求复杂的
<
Φ
(
x
)
T
,
Φ
(
x
′
)
>
<\Phi(x)^T,\Phi(x')>
<Φ(x)T,Φ(x′)>
通常不加说明的话，
k
(
x
,
x
′
)
k(x,x')
k(x,x′)指的是正定核函数
2.1正定核函数
- 在核函数的基础上，如果
k
(
x
,
x
′
)
=
Φ
(
x
)
T
Φ
(
x
′
)
=
<
Φ
(
x
)
T
,
Φ
(
x
′
)
>
k(x,x')=\Phi(x)^T\Phi(x')=<\Phi(x)^T,\Phi(x')>
k(x,x′)=Φ(x)TΦ(x′)=<Φ(x)T,Φ(x′)>
则称 k ( x , x ′ ) k(x,x') k(x,x′)为正定核函数 -
k
(
x
,
x
′
)
k(x,x')
k(x,x′)满足（1）对称性（2）正定性 则称
k
(
x
,
z
)
k(x,z)
k(x,z)为正定核函数
- 对称性 k ( x , z ) k(x,z) k(x,z)= k ( z , x ) k(z,x) k(z,x)
- 正定性 任取N个元素， x 1 , x 2 , . . . , x n ∈ X x_1,x_2,...,x_n\in X x1,x2,...,xn∈X,对应的Gram matrix是半正定的[K=[K( x i , x j x_i,x_j xi,xj)]]
证明: k ( x , z ) = < Φ ( x ) , Φ ( z ) > ⟺ k(x,z)=<\Phi(x),\Phi(z)> \iff k(x,z)=<Φ(x),Φ(z)>⟺ Gram matrix半正定
- Hilbert space :完备的，可能是无限维的，被赋予内积的线性空间（向量空间=>加法和数乘）；【内积是 < a , b > = ∣ a ∣ ∣ b ∣ c o s θ <a,b>=|a||b|cos\theta <a,b>=∣a∣∣b∣cosθ；内积性质：正定性 < f , f > ≥ 0 , " = " 成 立 的 时 候 f = 0 <f,f>\geq 0,"="成立的时候f=0 <f,f>≥0,"="成立的时候f=0，对称性，线性】
证明对称性：
k
(
x
,
z
)
=
<
Φ
(
x
)
,
Φ
(
z
)
>
k(x,z)=<\Phi(x),\Phi(z)>
k(x,z)=<Φ(x),Φ(z)>
k
(
z
,
x
)
=
<
Φ
(
z
)
,
Φ
(
x
)
>
k(z,x)=<\Phi(z),\Phi(x)>
k(z,x)=<Φ(z),Φ(x)>
又因为内积拥有对称性质，即
<
Φ
(
z
)
,
Φ
(
x
)
>
<\Phi(z),\Phi(x)>
<Φ(z),Φ(x)>=
<
Φ
(
x
)
,
Φ
(
z
)
>
<\Phi(x),\Phi(z)>
<Φ(x),Φ(z)>
∴
k
(
x
,
z
)
=
k
(
z
,
x
)
\therefore k(x,z)=k(z,x)
∴k(x,z)=k(z,x) 满足对称性质
证明半正定
扫一扫
1999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
