机器学习技法总结（一）：支持向量机（linear support vector machine，dual support vector machine）

第一阶段技法：

large margin (the relationship between large marin and regularization)， hard-SVM，soft-SVM，dual problem(解对偶问题)，kernel trick，kernel logistic regression，

主要思路是：（这里不区分线性与非线性，差别只是特征空间转换，X空间与Z空间的关系）

1. 从PLA出发，对于二维平面的二分类问题，PLA可能得出一堆能够正确分类的直线，但是哪一条直线会是最好的呢？我们应当如何评价分类的好坏呢？从而导出了large margin 和 support vector的概念。

具有large margin的那条直线具有更好的抗干扰能力，鲁棒性好。而影响margin大小的其实就是在fat边界上的那些数据，这些数据叫做support vector（candidate）。所以，就有了这样的一个优化目标，如何通过调节w使得margin最大。后面就是一系列的数学优化推导，最后转化为二次规划问题得到解决。

下面说明large margin背后所隐藏的一些可以解释为何large margin会“好”的原因：1）从regularization角度看，large margin所对应的优化函数，类似于加了regularizer的线性分类/回归问题，也就是说，large margin对应着regularization；