【ML】_03_SVM（支持向量机）

 

---

 

【一】 SVM（Support Vector Machine，支持向量机）

 

【有监督】拥有核函数的分类算法，数学理论基础丰富

 

---

 

【二】 拉格朗日 & KKT条件（LAGrange）

 

• 拉格朗日（LAGrange）可以把 constrain 变成 non-constrain，举个例子:
   
  $$\{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}{{\mathbf{x}}_1}^2+{{\mathbf{x}}_2}^2\\ \\ \mathbf{s}.\mathbf{t}{\mathbf{x}}_2-{\mathbf{x}}_1=-1\end{array}\Rightarrow \mathbf{m}\mathbf{i}\mathbf{n}{\mathbf{x}}_1^2+{\mathbf{x}}_2^2+\mathbf{\lambda }({\mathbf{x}}_2-{\mathbf{x}}_1+1)$$

 

• 等号 条件处理
   
  $$\{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{f}(\mathbf{x})\\ \\ \mathbf{s}.\mathbf{t}{\mathbf{g}}_{\mathbf{i}}(\mathbf{x})=0,\mathbf{i}=1,2,...,\mathbf{m}\end{array}\Rightarrow \mathbf{m}\mathbf{i}\mathbf{n}\mathbf{f}(\mathbf{x})+\sum _{\mathbf{i}=1}^{\mathbf{m}}{\mathbf{\lambda }}_{\mathbf{i}}\cdot {\mathbf{g}}_{\mathbf{i}}(\mathbf{x})$$
   
• 不等号 条件处理
   
  $$\{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{f}(\mathbf{x})\\ \\ \mathbf{s}.\mathbf{t}{\mathbf{h}}_{\mathbf{i}}(\mathbf{x})\le 0,\mathbf{i}=1,2,...,\mathbf{m}\end{array}\Rightarrow \{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{f}(\mathbf{x})+{\sum }_{\mathbf{i}=1}^{\mathbf{m}}{\mathbf{\lambda }}_{\mathbf{i}}\cdot {\mathbf{h}}_{\mathbf{i}}(\mathbf{x})\\ \\ \mathbf{s}.\mathbf{t}{\mathbf{\lambda }}_{\mathbf{i}}=0,{\mathbf{h}}_{\mathbf{i}}(\mathbf{x})\le 0\\ \\ \mathbf{s}.\mathbf{t}{\mathbf{\lambda }}_{\mathbf{i}}>0,{\mathbf{h}}_{\mathbf{i}}(\mathbf{x})=0\end{array}$$
   
• KKT条件
  $$\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{f}(\mathbf{x})+\sum _{\mathbf{i}=1}^{\mathbf{m}}{\mathbf{\lambda }}_{\mathbf{i}}\cdot {\mathbf{g}}_{\mathbf{i}}(\mathbf{x})+\sum _{\mathbf{j}=1}^{{\mathbf{m}}^{\prime }}{\mathbf{\mu }}_{\mathbf{j}}\cdot {\mathbf{h}}_{\mathbf{j}}(\mathbf{x})$$

$$s.t\{\begin{array}{l}{\mathbf{\lambda }}_{\mathbf{i}},{\mathbf{\mu }}_{\mathbf{j}}\ge 0,\forall \mathbf{i}\forall \mathbf{j}\\ \\ {\mathbf{h}}_{\mathbf{j}}(\mathbf{x})\le 0,{\mathbf{\mu }}_{\mathbf{j}}\cdot {\mathbf{h}}_{\mathbf{j}}(\mathbf{x})=0,\forall \mathbf{j}\end{array}$$

 

---

 

【三】 手撕 SVM（必须掌握）

 

• 函数距离（$\hat{d}$）+ 几何距离（d）

 

• 函数距离 和 几何距离 之间的关系（||W|| 是矩阵 W 的模）
   
  $$d=\frac{\hat{d}}{\Vert W\Vert }$$

 

• 最大化 两条虚线间的间隔
   
  $$\gamma =\frac{2}{\Vert W\Vert }$$

 

• 目标函数（数学模型）
   
  $$\{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \\ {\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})\ge 1\end{array}$$
   
• 个别点 不满足限制条件：添加松弛变量 ξ

                

 

• 引入 松弛变量 ξ 后的 目标函数
   
  $$\{\begin{array}{l}\mathbf{m}\mathbf{i}\mathbf{n}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\mathbf{\lambda }{\sum }_{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\xi }}_{\mathbf{i}}\\ \\ {\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})\ge 1-{\mathbf{\xi }}_{\mathbf{i}}\end{array}$$
   
• Hinge Loss 损失函数 ：正是因为 HingeLoss 的 零区域 对应的正是 非支持向量 的普通样本，从而所有的普通样本都 不参与 最终超平面的决定，这才是支持向量机最大的优势所在，对训练样本数目的依赖大大减少，而且提高了训练效率
   
  $$\mathbf{L}\mathbf{o}\mathbf{s}\mathbf{s}=\mathbf{m}\mathbf{a}\mathbf{x}(0,1-{\mathbf{y}}_{\mathbf{i}}({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})$$
   
• SVM 的 KKT 条件（不等号处理）
   
  $$\mathbf{m}\mathbf{i}\mathbf{n}\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}\cdot [1-{\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})]$$

$$s.t\{\begin{array}{l}{\mathbf{\lambda }}_{\mathbf{i}}\ge 0,\forall \mathbf{i}\\ \\ [1-{\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})]\le 0,\forall \mathbf{i}\\ \\ {\mathbf{\lambda }}_{\mathbf{i}}\cdot [1-{\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})]=0,\forall \mathbf{i}\end{array}$$
 

• SVM 的 Dual Problem（对偶问题，${\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}$ 是使用 Kernel Trick 的关键）
   
  $$\mathbf{m}\mathbf{i}\mathbf{n}-\frac{1}{2}\sum _{\mathbf{i}=1}^{\mathbf{n}}\sum _{\mathbf{j}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}{\mathbf{\lambda }}_{\mathbf{j}}{\mathbf{y}}_{\mathbf{i}}{\mathbf{y}}_{\mathbf{j}}{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}+\frac{1}{2}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}$$

$$s.t\{\begin{array}{l}{\mathbf{\lambda }}_{\mathbf{i}}\ge 0,\forall \mathbf{i}\\ \\ [1-{\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})]\le 0,\forall \mathbf{i}\\ \\ {\mathbf{\lambda }}_{\mathbf{i}}\cdot [1-{\mathbf{y}}_{\mathbf{i}}\cdot ({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b})]=0,\forall \mathbf{i}\\ \\ \frac{\partial \mathbf{L}}{\partial \mathbf{w}}:\mathbf{w}={\sum }_{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{i}}\\ \\ \frac{\partial \mathbf{L}}{\partial \mathbf{b}}:{\sum }_{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}=0\end{array}$$

 

---

 

【四】 Kernel Trick（核函数）

 

• Linear（线性核）
  $$k(x,y)={\mathbf{x}}^{\mathbf{T}}\mathbf{y}$$

 

• Polynomial（多项式核）
  $$k(x,y)=(1+{\mathbf{x}}^{\mathbf{T}}\mathbf{y}{)}^{\mathbf{d}}$$

 

• Gaussian（高斯核）
  $$k(x,y)=\mathbf{e}\mathbf{x}\mathbf{p}(\frac{-\Vert \mathbf{x}-\mathbf{y}{\Vert }^2}{2{\mathbf{\sigma }}^2})$$

 

• 如何选择核函数

1. 如果特征的数量大到和样本数量差不多，则选用 LR 或者 线性核 的SVM
2. 如果特征的数量小，样本的数量正常，则选用 SVM+高斯核函数
3. 如果特征的数量小，样本的数量非常大，则需要手工添加一些特征从而变成第一种情况

 

---

 

【五】 SVM 代码使用（Sklearn）

 

from sklearn.svm import SVC, LinearSVC
'''
:param (参数)
decision_function_shape: 'ovo' 实现多分类
kernel: 选择不同的核函数
'''
svm = SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3,
		  gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True,
    	  tol=0.001, verbose=False)

svm = LinearSVC(C=1.0, class_weight=None, dual=True, fit_intercept=True, intercept_scaling=1,loss='squared_hinge', 
		  		max_iter=1000, multi_class='ovr', penalty='l2', random_state=None, tol=0.0001, verbose=0)
'''
:object (方法)
svm.fit(X,y): SVM 是有监督的机器学习算法
svm.predict(X): 返回数据 X 预测的类别
'''