第一小节其实没啥,挺简单的,目的应该是简化运算,我的理解比较肤浅,但感觉就是简化运算了而已
zTz′=ϕ2(x)Tϕ2(x′)=1+xTx′+(xTx′)2
先计算 xTx′ 再计算 ϕ2(x)Tϕ2(x′) ,就会简单的多!
dual SVM问题转化成kernel SVM,就是把原来dual SVM问题中 zn,ϕ(x) 全都转换成 K(xT,x′)=1+(xTx′)+(xTx′)2
这小节重点:Polynomial Kernel
这节讨论了多项式核,比二项式核复杂,不用管,一般只有二项式比较实用
特例,(一项式)线性核:
K1(x,x′)=(0+1⋅xTx′)1
实用的二项式核:
K2(x,x′)=(1+γxTx′)2
多项式核的一般式:
KQ(x,x′)=(ζ+γxTx′)Q
with γ>0 ζ≥0
本小节重点:无限维 高斯核 Gaussian Kernel
K(x,x′)=exp(−γ∥∥x−x′∥∥) with γ>0
习题中,讨论了 γ→∞ ,Gaussian kernel
K(x,x′)=exp(−γ∥∥x−x′∥∥2)
Klim(x,x′)=∥∥x=x′∥∥
kernel是一种相似性,但不是所有的相似性都是kernel型
判断是kernel型,充要条件是K矩阵是对称和半正定的
对比三种类型的kernel优缺点:
线性核,简单,快速,不适用于不能线性分割的情况
K(x,x′)=xTx′
多项式核,比线性限制少,但计算量较大
K(x,x′)=(ζ+γxTx′)Q
高斯核,慢速,但是powerful
K(x,x′)=exp(−γ∥∥x−x′∥∥2)
最后的习题表明,所有kernel型的相似性都逃不出上面三种形式,不满足上述3种kernel型公式的,注意系数 γ>0,ζ≥0 ,统统都不是kernel型!