机器学习技法-3-Kernel Support Vector Machine

第一小节其实没啥，挺简单的，目的应该是简化运算，我的理解比较肤浅，但感觉就是简化运算了而已

$$\mathbf{z}^T\mathbf{z}'=\phi_2(\mathbf{x})^T\phi_2(\mathbf{x}')=1+\mathbf{x}^T\mathbf{x'}+(\mathbf{x}^T\mathbf{x'})^2$$
先计算 $\mathbf{x}^T\mathbf{x'}$ 再计算 $\phi_2(\mathbf{x})^T\phi_2(\mathbf{x}')$，就会简单的多！
dual SVM问题转化成kernel SVM，就是把原来dual SVM问题中 $\mathbf{z_n},\phi(x)$全都转换成 $K(\mathbf{x}^T,\mathbf{x'})=1+(\mathbf{x}^T\mathbf{x'})+(\mathbf{x}^T\mathbf{x'})^2$

---

这小节重点：Polynomial Kernel
这节讨论了多项式核，比二项式核复杂，不用管，一般只有二项式比较实用
特例，（一项式）线性核：$K_1(\mathbf{x},\mathbf{x'})=(0+1\cdot\mathbf{x}^T\mathbf{x'})^1$
实用的二项式核：$K_2(\mathbf{x},\mathbf{x'})=(1+\gamma\mathbf{x}^T\mathbf{x'})^2$
多项式核的一般式：$K_Q(\mathbf{x},\mathbf{x'})=(\zeta +\gamma\mathbf{x}^T\mathbf{x'})^Q$ $with\ \gamma>0\ \zeta\geq 0$

---

本小节重点：无限维 高斯核 Gaussian Kernel

$$K(\mathbf{x},\mathbf{x'})=exp(-\gamma\left \| \mathbf{x}-\mathbf{x'} \right \|)\ with \ \gamma>0$$

习题中，讨论了 $\gamma \rightarrow \infty$,Gaussian kernel $$K(\mathbf{x},\mathbf{x'})=\exp(-\gamma \left \| \mathbf{x}-\mathbf{x'} \right \|^2)$$
$$K_{lim}(\mathbf{x},\mathbf{x'})=\left \| \mathbf{x}=\mathbf{x'} \right \|$$

---

kernel是一种相似性，但不是所有的相似性都是kernel型
判断是kernel型，充要条件是K矩阵是对称和半正定的

对比三种类型的kernel优缺点：
线性核，简单，快速，不适用于不能线性分割的情况

$$K(\mathbf{x},\mathbf{x'})=\mathbf{x}^T\mathbf{x'}$$
多项式核，比线性限制少，但计算量较大
$$K(\mathbf{x},\mathbf{x'})=(\zeta +\gamma\mathbf{x}^T\mathbf{x'})^Q$$
高斯核，慢速，但是powerful
$$K(\mathbf{x},\mathbf{x'})=\exp(-\gamma \left \| \mathbf{x}-\mathbf{x'} \right \|^2)$$
最后的习题表明，所有kernel型的相似性都逃不出上面三种形式，不满足上述3种kernel型公式的，注意系数 $\gamma>0,\zeta\geq0$,统统都不是kernel型！