机器学习 | 算法模型 —— 分类：SVM算法推导

目录

1.SVM - 硬间隔SVM - 模型定义 - 最大间隔分类器

2.SVM - 硬间隔SVM - 模型求解 - 对偶问题引出

3.SVM - 硬间隔SVM - 模型求解 - 对偶问题值KKT条件

4.SVM - 软间隔SVM - 模型定义

5.SVM - 约束优化问题 - 若对偶性证明

6.SVM - 约束优化问题 - 对偶关系的几何解释

---

• 硬间隔：完全分类准确，其损失函数不存在；其损失值为0；只要找出两个异类正中间的那个平面；
• 软间隔：允许一定量的样本分类错误；优化函数包括两个部分，一部分是点到平面的间隔距离，一部分是误分类的损失个数；C是惩罚系数，误分类个数在优化函数中的权重值；权重值越大，误分类的损失惩罚的越厉害。误分类的损失函数可分为hinge损失，指数损失，对率损失。而经常使用的或者说默认的是使用了损失函数为hinge损失的软间隔函数。

1.SVM - 硬间隔SVM - 模型定义 - 最大间隔分类器

2.SVM - 硬间隔SVM - 模型求解 - 对偶问题引出

 

3.SVM - 硬间隔SVM - 模型求解 - 对偶问题值KKT条件

4.SVM - 软间隔SVM - 模型定义

5.SVM - 约束优化问题 - 若对偶性证明

6.SVM - 约束优化问题 - 对偶关系的几何解释