【机器学习笔记】支持向量机

个人学习笔记，参考B站 《机器学习白板推导系列》课程、周志华《机器学习》、李航《统计学习方法》。

1 SVM原理

SVM有三宝，间隔、对偶、核技巧。

支持向量机：

• 硬间隔（hard-margin SVM）
• 软间隔（soft-margin SVM）
• 核函数（kernel SVM）

1.1 硬间隔分类器

1.1.1 最大间隔分类器

设定：

1. 分类超平面为：$w^{T}x+b=0$
2. 数据集： D ∈ { ( x i , y i ) } n = 1 N D \in \{(x_i,y_i)\}_{n=1}^{N} D∈{ (xi​,yi​)}n=1N​
3. x i ∈ R p ， y ∈ { − 1 , 1 } x_i \in R^p，y \in \{-1,1\} xi​∈Rp，y∈{ −1,1}

硬间隔分类器，也称为“最大间隔分类器”，根据定义原问题可以写成：
$$\begin{array}{rl}& \underset{w,b}{\max }margin(w,b)\\ & s.t.\{\begin{array}{l}{w}^T{x}_i+b>0，y_i=+1\\ w^T{x}_i+b<0，y_i=-1\end{array}\end{array}$$
margin为所有样本到超平面最小的距离。 定义$margin(w,b)$ :
$$margin(w,b)=\underset{w,b,x_i,i=1,2,\cdots ,N}{\min }distance(w,b,x_i)$$
distance为样本 $x_i$ 到超平面的距离。 定义点$x_i$到超平面 $w^{T}x+b$的距离 $distance(w,b,x_i)$ 为：
$$distance(x,b,x_i)=\frac{|w^T{x}_i+b|}{||w||}$$

1.1.2 损失函数

整理上一节公式得到：
$$\begin{array}{rl}& \underset{w,b}{\max }\underset{x_i}{\min }\frac{|w^T{x}_i+b|}{||w||}\\ & =\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }|w^T{x}_i+b|\\ & =\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }{y}_i(w^T{x}_i+b)\\ & \because y_i(x^T{x}_i+b)>0\\ & \therefore \exists r>0，使\underset{x_i}{\min }{y}_i(w^T{x}_i+b)=r\\ & 令r=1，则\underset{x_i}{\min }{y}_i(w^T{x}_i+b)=1\end{array}$$
即：
{ max ⁡ w , b ∣ ∣ w ∣ ∣ − 1 s . t .     min ⁡ x i y i ( w T x i + b ) = 1 转 换 形 式 ： { min ⁡ w , b ∣ ∣ w ∣ ∣ s . t .     y i ( w T x i + b ) ≥ 1 \begin{aligned} & \begin{cases} \max_{w,b} {||w||}^{-1} \\ s.t. \ \ \ \min_{x_i} y_i(w^Tx_i+b)=1 \end{cases} \\ \\ & 转换形式： \\ \\ & \begin{cases} \min_{w,b} ||w|| \\ s.t. \ \ \ y_i(w^Tx_i+b) \ge 1 \end{cases} \end{aligned} ​{ maxw,b​∣∣w∣∣−1s.t.   minxi​​yi​(wTxi​+b)=1​转换形式：{ minw,b​∣∣w∣∣s.t.   yi​(wTxi​+b)≥1​​
最终得到 损失函数：
{ min ⁡ w , b