机器学习总结三：SVM原理推导与案例

机器学习算法总结

一、Bagging之决策树、随机森林原理与案例

二、boosting之GBDT、XGBT原理推导与案例

三、SVM原理推导与案例

四、逻辑回归与反欺诈检测案例

五、聚类之K-means

---

三、SVM

1. 原理推导（硬间隔）

1.1分类问题代数化

**svm原理一句话概括：找出一个最优的直线(或超平面)去隔离不同类别样本数据，达到分类目的。**

                图1                                 图2

图1: 找出一条直线将样本完美地划分成两类（注意这样的直线有很多，称为决策边界）。

图2：最优的划分直线满足虚线(超平面)之间距离d最大（容错性高，直观体现支持向量(虚线上的点)的重要性）。

图1：设设x1，x2为决策边界上w^T*x+b=0的两个点，则：
$$\begin{gathered} w^T\ast X_1+b=0 \\ {w}^T\ast X_2+b=0 \\ {w}^T\ast (X_1-X_2)=0 \\ \vec{w}\perp (\overrightarrow{X_1}-\overrightarrow{X_2})即垂直于决策边界 \end{gathered}$$
图2：将决策边界向上平移和向下平移k得到虚线超平面，则
$$\begin{gathered} w^T\ast X+b=k \\ {w}^T\ast X+b=-k \\ 等式两边除以k \\ {w}^T\ast X+b=1 \\ {w}^T\ast X+b=1 \\ 注：1、-1分别表示平行于决策边界的虚线到决策边界的相对距离，不是具体距离 \end{gathered}$$
**图2：**设Xp、Xn分别为正例和负例样本的支持向量，则：
$$\begin{gathered} w^T\ast X_p+b=1 \\ {w}^T\ast X_n+b=-1 \\ {w}^T\ast (X_p-X_n)=2 \\ d=(X_p-X_n)\ast \frac{\vec{w}}{|\vec{w}|}=\frac{2}{|\vec{w}|} \\ 因为一个向量(X_p-X_n)点乘一个单位向量\frac{\vec{w}}{|\vec{w}|}等于在单位向量上的投影 \end{gathered}$$
为了最优的分类效果和容错性，需求解满足分类正确前提下距离d的最大值。
$$\begin{gathered} 分类正确：f(w,b)=\{\begin{array}{ll}w{x}_i+b\ge 1,& if{y}_i=1\\ w{x}_i+b\le -1,& if{y}_i=-1\end{array} \\ {x}_i、y_i真实样本特征和标签 \\ 简化表示：y_i(w{x}_i+b)\ge 1 \\ 1-y_i(w{x}_i+b)\le 0 \end{gathered}$$
求解最优决策边界代数化问题为：
$$\begin{gathered} d_{max}=min\frac{1}{2}|\vec{w}|=min\frac{1}{2}{\vec{w}}^2 \\ s.t：1-y_i(w{x}_i+b)\le 0 \end{gathered}$$

1.2 带有约束的凸优化最优解问题

最优决策边界的代数化表示是一个带有约束的凸优化最优解问题，使用拉格朗日因子法求解(专门求解带约束的最优化问题的方法）。

原始问题对应拉格朗日函数为：
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+\sum _{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)] \\ \lambda \ge 0 \end{gathered}$$
且有：
$$原始问题：min\frac{1}{2}{\vec{w}}^2===mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)$$
证明：
∵ m a x λ L ( w , b , λ ) = { + ∞ , i f 约 束 不 满 足 时 即 1 − y i ( w t ∗ x i + b ) > 0 1 2 w T ∗ w , i f 约 束 满 足 时 即 1 − y i ( w t ∗ x i + b ) ≤ 0 ∴ m i n w , b m a x λ L ( w , b , λ ) = m i n w , b { + ∞ , 1 2 w T ∗ w } = m i n 1 2 w T ∗ w 且 约 束 条 件 满 足 \because max_\lambda L(w,b,\lambda) = \begin{cases} +\infty, & if 约束不满足时即1-y_i(w_t*x_i+b)>0 \\ \frac{1}{2}w^T*w, & if 约束满足时即1-y_i(w_t*x_i+b)\leq0 \end{cases}\\ \therefore min_{w,b}max_\lambda L(w,b,\lambda)=min_{w,b}\{+\infty,\frac{1}{2}w^T*w\}=min\frac{1}{2}w^T*w且约束条件满足 ∵maxλ​L(w,b,λ)={+∞,21​wT∗w,​if约束不满足时即1−yi​(wt​∗xi​+b)>0if约束满足时即1−yi​(wt​∗xi​+b)≤0​∴minw,b​maxλ​L(w,b,λ)=minw,b​{+∞,21​wT∗w}=min21​wT∗w且约束条件满足
所以：原始问题可以表示为：
$$求解极小极大值问题：mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)$$

1.3 对偶问题

极小极大值转化为对偶问题再求解。

好处：

1. 改变算法复杂度. 对偶问题往往更容易求解.（原始问题求解与特征维度相关，对偶问题计算量与样本量相关）

2. 转化为对偶问题得到内积的形式, 引入核函数, 进而推广到非线性分类问题.

原始问题对应的对偶问题：
$$求解极大极小值问题：ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )(\lambda \ge 0)$$
原始问题与对偶问题之间关系：原始问题>=对偶问题

证明：
$$\begin{gathered} ma{x}_{\lambda }L(w,b,\lambda )\ge L(w,b,\lambda )\ge mi{n}_{w,b}L(w,b,\lambda ) \\ 设P=ma{x}_{\lambda }L(w,b,\lambda );Q=mi{n}_{w,b}L(w,b,\lambda ) \\ P\ge Q恒成立 \\ mi{n}_{w,b}P\ge ma{x}_{\lambda }Q \\ 即：mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )(\lambda \ge 0)\ge ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )(\lambda \ge 0) \end{gathered}$$
当原问题为凸优化问题,约束条件线性，满足KKT条件时：原始问题===对偶问题（具体深入了解百度拉格朗日对偶问题，最好先学习拉格朗日因子法，对偶函数，再学习SVM，才能完全理解）

1.4 求解对偶问题

$$\begin{array}{l}1.先求mi{n}_{w,b}L(w,b,\lambda )\\ L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)]（\lambda \ge 0）\\ L(w,b,\lambda )=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i[1-y_i(w^T\ast x_i+b)]=\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i-{\sum }_{i=0}^n{\lambda }_i{y}_i{x}_i{w}^t-{\sum }_{i=0}^n{\lambda }_i{y}_{i}b\\ \frac{\delta L(w,b,\lambda )}{\delta w}=w-{\sum }_{i=0}^n{\lambda }_i{x}_i{y}_i=0-->w={\sum }_{i=0}^n{\lambda }_i{x}_i{y}_i\\ \frac{\delta L(w,b,\lambda )}{\delta b}=-{\sum }_{i=0}^n{\lambda }_i{y}_i=0\\ 带入w、b一阶导\\ mi{n}_{w,b}L(w,b,\lambda )=-\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i=-\frac{1}{2}{w}^T\ast w+{\sum }_{i=0}^n{\lambda }_i=-\frac{1}{2}{\sum }_{i=0}^n{\sum }_{j=0}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j+{\sum }_{i=0}^n{\lambda }_i\end{array}$$

$$\begin{array}{l}\\ 2.再求ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )\\ \begin{array}{c}max\\ \lambda \end{array}L(\lambda )=-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\overrightarrow{x_i}\overrightarrow{x_j}+{\sum }_{i=1}^n{\lambda }_i\end{array}$$

重要结论1：w、b结果与λ相关，λ结果与样本特征内积相关*

1.5 smo(Sequential minimal optimization)快速求解λ

λi的个数与样本量相关，样本量大时，计算量很大，采用计算更快的smo算法。
$$\begin{array}{l}SMO是一种解决此类支持向量机优化问题的迭代算法。由于目标函数为凸函数，\\ 一般的优化算法都通过梯度方法一次优化一个变量求解二次规划问题的最大值，\\ 但是，对于以上问题，由于限制条件-{\sum }_{i=0}^n{\lambda }_i{y}_i=0存在，\\ 当某个\lambda 从{\lambda }^{old}更新到{\lambda }^{new}时，上述限制条件即被打破。\\ 为了克服以上的困难，SMO采用一次更新两个变量的方法。最后根据\lambda 求出w、b。\end{array}$$
5.1 关于λ的最大化问题，转化为最小化问题
$$\begin{array}{l}\\ ma{x}_{\lambda }L(\lambda )=-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\overrightarrow{x_i}\overrightarrow{x_j}+{\sum }_{i=1}^n{\lambda }_i\\ mi{n}_{\lambda }L(\lambda )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\overrightarrow{x_i}\overrightarrow{x_j}-{\sum }_{i=1}^n{\lambda }_i\\ 已知条件：\lambda \ge 0；\\ w={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i（上一步对w求导所得）;{\sum }_{i=1}^n{\lambda }_i{y}_i=0（上一步对b求导所得）\end{array}$$
5.2 设λ1、λ2为变量，其他λ为定值，则：
$$\begin{array}{l}\\ \because {\sum }_{i=1}^n{\lambda }_i{y}_i=0\\ \therefore {\lambda }_1{y}_1+{\lambda }_2{y}_2+{\sum }_{i=3}^n{\lambda }_i{y}_i=0\\ 设{\sum }_{i=3}^n=-C,则{\lambda }_1{y}_1+{\lambda }_2{y}_2=C(C为常数)\\ \therefore {\lambda }_1=(C-{\lambda }_2{y}_2)y_1(公式3下面会使用)\\ 注意y_i\in [1,-1],y_i^2=1,消去y_1时，要等式两边乘以y_1，不要除\end{array}$$

$$\begin{array}{l}\\ 决策函数：f(x_i)=w^T{x}_i+b\\ \because w={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i\\ \therefore f(x_1)={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i^T\ast x_1+b={\lambda }_1{y}_1{x}_1^T\ast x_1+{\lambda }_2{y}_2{x}_2^T\ast x_1+{\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i^T\ast x_1+b\\ \therefore f(x_2)={\sum }_{i=1}^n{\lambda }_i{y}_i{x}_i^T\ast x_2+b={\lambda }_1{y}_1{x}_1^T\ast x_2+{\lambda }_2{y}_2{x}_2^T\ast x_2+{\sum }_{i=3}^n{\lambda }_i{y}_i{x}_i^T\ast x_2+b\\ {\sum }_{i=3}^n{\lambda }_i{y}_i\overrightarrow{x_i}.\overrightarrow{x_1}=f(x_1)-{\lambda }_1{y}_1\overrightarrow{x_1}.\overrightarrow{x_1}-{\lambda }_2{y}_2\overrightarrow{x_2}.\overrightarrow{x_1}-b(公式1下面会使用)\\ {\sum }_{i=3}^n{\lambda }_i{y}_i\overrightarrow{x_i}.\overrightarrow{x_2}=f(x_2)-{\lambda }_1{y}_1\overrightarrow{x_1}.\overrightarrow{x_2}-{\lambda }_2{y}_2\overrightarrow{x_2}.\overrightarrow{x_2}-b(公式2下面会使用)\end{array}$$

5.3 提取λ1、λ2进行求解
$$\begin{array}{l}\\ 1.化简求\lambda 的代数式\\ \begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\overrightarrow{x_i}\overrightarrow{x_j}-{\sum }_{i=1}^n{\lambda }_i\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1{\lambda }_1{y}_1{y}_1\overrightarrow{x_1}\overrightarrow{x_1}+\frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2\overrightarrow{x_1}\overrightarrow{x_2}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_1{\lambda }_j{y}_1{y}_j\overrightarrow{x_1}\overrightarrow{x_j}+\frac{1}{2}{\lambda }_2{\lambda }_1{y}_2{y}_1\overrightarrow{x_2}\overrightarrow{x_1}+\frac{1}{2}{\lambda }_2{\lambda }_2{y}_2{y}_2\overrightarrow{x_2}\overrightarrow{x_2}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_2{\lambda }_j{y}_2{y}_j\overrightarrow{x_2}\overrightarrow{x_j}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1\overrightarrow{x_i}\overrightarrow{x_1}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2\overrightarrow{x_i}\overrightarrow{x_2}+\frac{1}{2}{\sum }_{i=3}^n{\sum }_{j=3}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{k}_{ij}-{\lambda }_1-{\lambda }_2-{\sum }_{i=3}^n{\lambda }_i\\ \\ 1.1设\overrightarrow{x_i}\overrightarrow{x_j}=k_{ij}\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+\frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_1{\lambda }_j{y}_1{y}_j{k}_{1j}+\frac{1}{2}{\lambda }_2{\lambda }_1{y}_2{y}_1{k}_{21}+\frac{1}{2}{\lambda }_2^2{k}_{22}+\frac{1}{2}{\sum }_{j=3}^n{\lambda }_2{\lambda }_j{y}_2{y}_j{k}_{2j}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1{k}_{i1}+\frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2{k}_{i2}+\frac{1}{2}{\sum }_{i=3}^n{\sum }_{j=3}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{k}_{ij}-{\lambda }_1-{\lambda }_2-{\sum }_{i=3}^n{\lambda }_i\\ \\ 1.2删除常量，合并相等项\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+2\ast \frac{1}{2}{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+2\ast \frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_1{y}_i{y}_1{k}_{i1}+2\ast \frac{1}{2}{\sum }_{i=3}^n{\lambda }_i{\lambda }_2{y}_i{y}_2{k}_{i2}-{\lambda }_1-{\lambda }_2\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_1,{\lambda }_2)=\frac{1}{2}{\lambda }_1^2{k}_{11}+{\lambda }_1{\lambda }_2{y}_1{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+{\lambda }_1{y}_1{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+{\lambda }_2{y}_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-{\lambda }_1-{\lambda }_2\\ \\ 2.带入公式3\\ \begin{array}{c}min\\ \lambda \end{array}L({\lambda }_2)=\frac{1}{2}(C-{\lambda }_2{y}_2{)}^2{k}_{11}+(C-{\lambda }_2{y}_2){\lambda }_2{y}_2{k}_{12}+\frac{1}{2}{\lambda }_2^2{k}_{22}+(C-{\lambda }_2{y}_2){\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+{\lambda }_2{y}_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-(C-{\lambda }_2{y}_2)y_1-{\lambda }_2\\ \frac{{\delta }^{\prime }L({\lambda }_2)}{\delta {\lambda }_2}=-C{y}_2{k}_{11}+k_{11}{\lambda }_2+C{y}_2{k}_{12}-2k_{12}{\lambda }_2+k_{22}{\lambda }_2-y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}+y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}+y_1{y}_2-1=0\\ k_{11}{\lambda }_2-2k_{12}{\lambda }_2+k_{22}{\lambda }_2=1+C{y}_2{k}_{11}-C{y}_2{k}_{12}+y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-y_2{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-y_1{y}_2\\ (k_{11}-2k_{12}+k_{22}){\lambda }_2=y_2(y_2+C{k}_{11}-C{k}_{12}+{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}-y_1)(其中：1\Rightarrow y_2{y}_2)\\ \\ 3.代入公式1、公式2\\ {\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i1}-{\sum }_{i=3}^n{\lambda }_i{y}_i{k}_{i2}=(f(x_1)-{\lambda }_1^{old}{y}_1\overrightarrow{x_1}.\overrightarrow{x_1}-{\lambda }_2^{old}{y}_2\overrightarrow{x_2}.\overrightarrow{x_1}-b)-(f(x_2)-{\lambda }_1^{old}{y}_1\overrightarrow{x_1}.\overrightarrow{x_2}-{\lambda }_2^{old}{y}_2\overrightarrow{x_2}.\overrightarrow{x_2}-b)=f(x_1)-{\lambda }_1^{old}{y}_1{k}_{11}-{\lambda }_2^{old}{y}_2{k}_{21}-f(x_2)+{\lambda }_1^{old}{y}_1{k}_{12}+{\lambda }_2^{old}{y}_2{k}_{22}\\ {\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2=C\\ (k_{11}-2k_{12}+k_{22}){\lambda }_2^{new}=y_2(y_2+({\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2)k_{11}-({\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2)k_{12}+f(x_1)-{\lambda }_1^{old}{y}_1{k}_{11}-{\lambda }_2^{old}{y}_2{k}_{21}-f(x_2)+{\lambda }_1^{old}{y}_1{k}_{12}+{\lambda }_2^{old}{y}_2{k}_{22}-y_1)\\ {\lambda }_2^{new}=\frac{y_2[y_2-f(x_2)-(y_1-f(x_1))+{\lambda }_2^{old}{y}_2(k_{11}-2k_{12}+k_{22})]}{k_{11}-2K_{12}+k_{22}}={\lambda }_2^{old}+\frac{y_2[y2-f(x_2)-(y_1-f(x_1)]}{k_{11}-2K_{12}+k_{22}}\\ \\ {\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_2-E_1)}{k_{11}-2K_{12}+k_{22}}（E_1、E_2真实标签与决策函数结果之差）\end{array}$$

重要结论2：

​
$$\begin{gathered} {\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_2-E_1)}{k_{11}-2K_{12}+k_{22}} \\ {\lambda }_i更新只与真实标签y_i、真实标签y_i与预测值f(x_i)差值和样本x_i{x}_j内积相关 \end{gathered}$$

1.6 核函数

6.1 分类中问题

$$\begin{array}{l}有些分类问题不是线性可分的（如左图异或问题），\\ 进行高维映射后(右图)（x_1,x_2）-->（x_1,x_2,x_1\ast x_2）\\ 线性可分。\end{array}$$

对偶问题求λ的极值亦随之变化。
$$\begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\overrightarrow{x_i}\overrightarrow{x_j}-\sum _{i=1}^n{\lambda }_i$$

$$\begin{gathered} -->\begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (\overrightarrow{x_i})\varphi (\overrightarrow{x_j})-\sum _{i=1}^n{\lambda }_i \\ \varphi (X)是样本X的高维映射函数 \\ 注：缺陷样本进行高维映射后，可以解决线性不可分问题，但计算量大大增加(需先高维映射再求样本点内积) \end{gathered}$$

6.2 核函数作用 ：将高维特征的计算转化到低维计算

$$\begin{array}{l}样本1:(x_1,x_2)-->(x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2)\\ 样本2：(z_1,z_2)-->(z_1^2,z_2^2,\sqrt{2}{z}_1{z}_2)\\ \varphi (X)\varphi (Z)=x_1^2{z}_1^2+x_2^2{z}_2^2+2x_1{x}_2{z}_2{z}_2\\ K<X,Z>(核函数)=(X\ast Z{)}^2=x_1^2{z}_1^2+x_2^2{z}_2^2+2x_2{x}_2{z}_1{z}_2\\ \\ \varphi (x)\varphi (z)=K<X,Z>\\ 特征高维映射后，再求内积和直接使用核函数带入样本点求解结果一样\\ \\ 则求\lambda 最优解问题，可改写如下：\begin{array}{c}min\\ \lambda \end{array}L(\lambda )=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_{j}K<\overrightarrow{x_i},\overrightarrow{x_j}>-{\sum }_{i=1}^n{\lambda }_i\\ 核函数巧妙的避过了样本特征先进行高维映射，再求内积的过程，只需要将核函数K带入最优化问题求解即可\end{array}$$
6.3 常用核函数（sklearn）
$$\begin{array}{l}1.线性核：处理线性问题\\ kernel{=}^{\prime }linea{r}^{\prime }\\ K<x,y>=x^T\ast y=x.y\\ \\ 2.多项式核：处理偏线性问题\\ kernel{=}^{\prime }pol{y}^{\prime }\\ K<x,y>=(\gamma (x.y)+{\rm Y}{)}^d\\ \\ 3.双曲正切核：处理非线性问题\\ kernel{=}^{\prime }sigmio{d}^{\prime }\\ K<x,y>=tanh(\gamma (x.y)+{\rm Y})\\ \\ 4.高斯径向基：处理偏非线性问题(sklearn默认)\\ kernel{=}^{\prime }rb{f}^{\prime }\\ K<x,y>=e^{-\gamma |x-y{|}^2},\gamma >0\\ 高斯核函数参数\gamma 理解：\\ 设d为两个样本点高维映射后的距离；\varphi (x)为映射函数\\ d=|\varphi (x_1)-\varphi (x_2){|}^2=\varphi (x_1)\varphi (x_1)+\varphi (x_2)\varphi (x_2)-2\varphi (x_1)\varphi (x_2)\\ =e^{-\gamma |x_1-x_1{|}^2}+e^{-\gamma |x_2-x_2{|}^2}-2e^{-\gamma |x_1-x_2{|}^2}\\ d=2-2e^{-\gamma |x_1-x_2{|}^2}=\{\begin{array}{ll}2-2^0=0,& if\gamma 趋近于0时\\ 2-2e^{-\infty }=2,& if\gamma 趋近于+\infty 时\end{array}\\ 当\gamma 趋近于0时，d=2-2\ast e^0=0，样本间距离趋近0，不易区分，易欠拟合;\\ 当\gamma 趋近于+\infty 时，d=2-2\ast e^{-\infty }=2，样本间距离变大，更易区分，容易过拟合\\ \\ 其中：kernel、d、\gamma 、{\rm Y}分别对应svc中参数kernel、degree、gamma、cof0(选取不同核函数需调优不同的参数)\end{array}$$

1.7 软间隔

如图：不是每个样本都能被正确划分。

软间隔是处理线性不可分问题、减少噪点影响时引入的方法，其通过牺牲某些点必须正确划分的限制，以换取更大分割间隔的方法，其特点在分类时为了整体效果会存在错误点。

7.1 软间隔处理方案
设 分 类 损 失 变 量 ξ ξ i ≥ 1 − y i ( w x i + b ) （ ξ ≥ 0 ） ξ i ≥ m a x { 0 , 1 − y i ( w x i + b ) } \begin{array}{l} 设分类损失变量\xi\\ \xi_i\geq1-y_i(wx_i+b)（\xi\geq0）\\ \xi_i\geq max\{0,1-y_i(wx_i+b)\}\\ \end{array} 设分类损失变量ξξi​≥1−yi​(wxi​+b)（ξ≥0）ξi​≥max{0,1−yi​(wxi​+b)}​

$$\begin{array}{l}如图:\\ 当y_i(w{x}_i+b)\ge 1即分类正确且样本在虚线超平面之外时，损失{\xi }_i为0；\\ 当1>y_i(w{x}_i+b)\ge 0即分类正确但样本在虚线超平面与决策边界之间时，损失{\xi }_i\in (0,1)；\\ 如图，当y_i(w{x}_i+b)<0即样本分类错误时，损失{\xi }_i\ge 1。\\ \\ 原始问题求解最大几何间隔，添加损失项如下：\\ min\frac{1}{2}{\vec{w}}^2+C{\sum }_{i=1}^n{\xi }_i\\ 参数C惩罚系数越大，要求尽量全部分类正确，且在虚线超平面之外，容易造成过拟合\end{array}$$

2. 案例

1. 导入模块

   import numpy as np
   import matplotlib.pyplot as plt
   from sklearn.datasets import make_classification,make_moons,make_circles
   
   from sklearn.svm import SVC
   from sklearn.preprocessing import StandardScaler
   

2. 创建样本数据

   # 生成测试数据
   data1 = make_classification(
       n_redundant=0,n_repeated=0,n_classes=2,n_clusters_per_class=1,weights=None,
       random_state=1)
   
   # 生成月亮型样本数据
   data2 = make_moons(random_state=1)
   
   # 生成环形数据
   data3 = make_circles(random_state=1)
   scaler = StandardScaler()
   x1=scaler.fit_transform(data1[0]);y1=data1[1]
   x2=scaler.fit_transform(data2[0]);y2=data2[1]
   x3=scaler.fit_transform(data3[0]);y3=data3[1]
   
   plt.figure(figsize=(12,5))
   plt.subplot(1,3,1)
   plt.scatter(x=x1[y1==0,0],y=x1[y1==0,1],c='r')
   plt.scatter(x=x1[y1==1,0],y=x1[y1==1,1],c='b')
   plt.xticks([]);plt.yticks([])
   # 绘制月亮型数据图像
   plt.subplot(1,3,2)
   plt.scatter(x=x2[y2==0,0],y=x2[y2==0,1],c='r')
   plt.scatter(x=x2[y2==1,0],y=x2[y2==1,1],c='b')
   plt.xticks([]);plt.yticks([])
   # 绘制环形数据图像
   plt.subplot(1,3,3)
   plt.scatter(x=x3[y3==0,0],y=x3[y3==0,1],c='r')
   plt.scatter(x=x3[y3==1,0],y=x3[y3==1,1],c='b')
   plt.xticks([]);plt.yticks([])
   

   

3. 绘制svm分类决策边界

   x = np.arange(-1.5,1.5,0.1)
   y = np.arange(-1.5,1.5,0.1)
   x,y = np.meshgrid(x,y)
   
   # 样本数据1,样本可分使用 'linear'线性核函数
   svc1 = SVC(kernel='linear')
   svc1.fit(x1,y1)
   def1 = svc1.decision_function
   z1 = def1(np.hstack((x.reshape(-1,1),y.reshape(-1,1)))).reshape(30,30)
   
   # 样本数据2,样本非线性 使用偏非线性'rbf'高斯核函数
   svc2 = SVC(kernel='rbf',gamma=2)
   svc2.fit(x2,y2)
   def2 = svc2.decision_function
   z2 = def2(np.hstack((x.reshape(-1,1),y.reshape(-1,1)))).reshape(30,30)
   
   # 样本数据1,样本非线性 使用偏非线性'rbf'高斯核函数
   svc3 = SVC(kernel='rbf')
   svc3.fit(x3,y3)
   def3 = svc3.decision_function
   z3 = def3(np.hstack((x.reshape(-1,1),y.reshape(-1,1)))).reshape(30,30)
   
   # 绘制决策边界
   plt.figure(figsize=(12,5))
   plt.subplot(1,3,1)
   plt.scatter(x=x1[y1==0,0],y=x1[y1==0,1],c='r')
   plt.scatter(x=x1[y1==1,0],y=x1[y1==1,1],c='b')
   plt.contour(x,y,z1,levels=[0])
   plt.xticks([]);plt.yticks([])
   # 绘制月亮型数据图像
   plt.subplot(1,3,2)
   plt.scatter(x=x2[y2==0,0],y=x2[y2==0,1],c='r')
   plt.scatter(x=x2[y2==1,0],y=x2[y2==1,1],c='b')
   plt.contour(x,y,z2,levels=[0])
   plt.xticks([]);plt.yticks([])
   # 绘制环形数据图像
   plt.subplot(1,3,3)
   plt.scatter(x=x3[y3==0,0],y=x3[y3==0,1],c='r')
   plt.scatter(x=x3[y3==1,0],y=x3[y3==1,1],c='b')
   plt.contour(x,y,z3,levels=[0])
   plt.xticks([]);plt.yticks([])
   

   

​

​