支持向量机（SVM）

支持向量机（SVM）

github地址https://github.com/thesouther/MachineLearningAndMatrixAnalysis/blob/master/SVM/SVM.ipynb

1. 基本概念

支持向量： 在线性可分的情况下，训练数据集中与分类超平面距离最近的样本点的实例。
间隔
间隔边界
函数间隔： 对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面和样本点$(x_i,y_i)$的函数间隔为：
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)\text{\hspace{1em}(1)}$$
所有样本点关于超平面的函数间隔可以表示分类预测正确性和确信度：
$$\hat{\gamma }=\underset{i=1,...,N}{\min }{\hat{\gamma }}_i\text{\hspace{1em}(2)}$$
该间隔当$w$和$b$等比例扩大时，间隔也扩大，所以引入几何间隔，使间隔度量确定。

几何间隔： 超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔一般使实例到超平面的带符号距离，当样本点被超平面分类正确时就是实例点到超平面的距离。
$${\gamma }_i=y_i\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)\text{\hspace{1em}(3)}$$

$$\gamma =\underset{i=1,...,N}{\min }{\gamma }_i\text{\hspace{1em}(4)}$$

由上可以函数间隔和几何间隔的关系：
$$\gamma =\frac{\hat{\gamma }}{||w||}$$
硬间隔最大化： 对训练数据找到几何间隔最大化的超平面意味着：以充分大的确信度对训练数据进行分类。
max ⁡ w , b γ s . t .     y i ( w ∣ ∣ w ∣ ∣ ⋅ x i + b ∣ ∣ w ∣ ∣ ) ≥ γ (5) \begin{aligned} &\max\limits_{w,b} \gamma \\ &s.t.\ \ \ y_i\left(\frac{w}{||w||}\cdot x_i + \frac{b}{||w||}\right) \ge \gamma \end{aligned}\tag{5} ​