#支持向量机(SVM)与其理论发展(1)

支持向量机(SVM)与其理论发展(1)

写作原因：
接触到支持向量机理论推导的一些问题，去查看了一下资料发现其中的内容并不简单，于是希望能在这里整理一下自己学习的内容，力求在数学上完善。自编自写，错误难免，欢迎交流~

0.简介

支持向量机(support vector machines)是一种有名的二分类模型，在简单的感知机的基础上，支持向量机要求所谓间隔最大，再进一步加上核技巧，这使得它进一步变为非线性分类器。
支持向量机的学习策略就是“间隔”的最大化，经过数学变形可以化为一个凸二次线性规划的求解问题。

一.起点：线性可分支持向量机

1.notation

• 给定的训练集$T=\{(x_1,y_1),(x_2,y_2),(x_3,y_3),\cdots,(x_N,y_N)\}$， 其中$x_i\in \Re^n,y_i\in \{-1,+1\},\ i=1,2,\cdots ,N$。即赋予正负两类的数据。
• $w\cdot x+b=0\ \ \ \ :$给定超平面，$(w,b)$分别是其法向量和截距。
• 函数间隔$\hat{\gamma_i}=y_i(w\cdot x_i+b)$。
• 几何间隔$\gamma_i=\frac{y_i(w\cdot x_i+b)}{\|w\|}=\hat{\gamma_i}/\|w\|$。容易知道几何间隔，在点被正确分类的时候，就是数据点到超平面的距离，否则是距离的负数。

2.间隔最大化

(1)优化问题的数学表式

支持向量机的想法是，对于线性可分的数据集，希望分割的超平面距离样本点的最短距离尽可能的大，也就是
maxw,b    γ