林轩田机器学习技法课程笔记三 Kernel支持向量机

Lecture3: Kernel Support Vector Machine

---

kernel function: transform + inner product是一种偷吃步

kernel trick: plug in efficient kernel function to avoid dependence on d(tilde)

different inner product=>different geometry=>different margin

不同的內积=>不同的几何=>不同的margin

change of kernel <=> change of margin definition

改变kernel就是改变margin的定义

以前我们对转换（transform）做选择，現在我们对kernel做选择

时刻牢记线性模型优先原则。

Gaussian Kernel/ Radial Basis Function(RBF)Kernel

Radial的意思是从中心向外面延伸，Basis Function是用来做线性组合的基本量。

kernel代表相似性(kernel represents special similarity)，內积就是一种相似性。

一个kernel有效的充分必要条件（Mercer’s condition）：

i)对称性

ii)K(xi,xj)半正定(positive semi-definite)