9.支撑向量机-SVM

SVM要最大化margin，而margin=2d,所以问题转化为最大化d.

SVM算法最终的最优化问题：

s.t. 表示subject to，它后面的式子表示约束条件。

这个最优化问题是Hard Margin SVM问题，它假设数据是线性可分的。

Soft Margin SVM：

核函数：

变化后的项中有一部分是xi*xj,也就是对于任意两个样本点的x值点乘。在多项式求解的时候需要对xi添加多项式项形成x`i,对xj添加多项式项形成x`j，然后再将二者进行点乘。所以如果能找到一个函数K，将xi和xj分别作为参数传入，返回的就是x`i和x`j点乘的结果，那么我们就不需要分别运算再相乘，并且也节省了空间（因为不需要将低维的数据变形为高维的数据进行存储，可以利用K函数直接计算出结果）。这个K就是核函数（Kernel Function）。

高斯核函数：

高斯核函数也叫RBF核（Radial Basis Function Kernel）

对于高斯核函数，每一个数据点都是landmark，也就是对于每一个x，它都要尝试对于每一个样本y进行核函数的计算，成为新的高维数据。

将原来m*n 的数据映射成了m*m的数据，如果m非常大，那么经过高斯核函数后，就映射成了一个非常高维空间的数据点。