SVM 支持向量机

 

目录

一、前置知识回顾

1、梯度下降

2、拉格朗日乘子法（等式约束的最优化问题）

3、KKT回顾（不等式约束的最优化问题）

二、感知器模型回顾

三、SVM线性可分

3.1 硬间隔SVM

​3.1 软间隔SVM 

​四、SVM线性不可分

五、核函数

六、SMO

具体推导过程如下：

七、SVR算法（svm用于回归）​ ​

八、sk-learn 包的相关参数

---

一、前置知识回顾

1、梯度下降

 批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解

 

2、拉格朗日乘子法（等式约束的最优化问题）

3、KKT回顾（不等式约束的最优化问题）

 

 简易解说拉格朗日对偶（Lagrange duality）

二、感知器模型回顾

 

三、SVM线性可分

3.1 硬间隔SVM

 

 

 乘以y是为了去掉绝对值符号

 

 

 

 

3.1 软间隔SVM 

 

 

 

四、SVM线性不可分

 

 

五、核函数

 

SVM的两个参数 C 和 gamma （参考链接）

SVM模型有两个非常重要的参数C与gamma。其中，

C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差

gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。
 

六、SMO

 

 

 

具体推导过程如下：

 

 

 

 

 

 

七、SVR算法（svm用于回归）

 

 

 

八、sk-learn 包的相关参数Sklearn参数详解—SVM