Python从0到100（五十五）：机器学习-支持向量机及手写数字进行分类

支持向量机（Support Vector Machine，SVM）是⼀种强⼤的监督学习算法，主要⽤于分类问题，但也可⽤于回归和异常检测。SVM的基本原理是在特征空间中找到⼀个最优的超平⾯，以最大化不同类别之间的间隔，从而使分类更加准确。

1.基本原理

1、间隔最大化：SVM 的⽬标是找到⼀个超平⾯，使不同类别的样本点到这个超平⾯的距离（间隔）最大化。这个间隔被称为“间隔最大化”。
2、支持向量：在SVM中，只有⼀小部分样本点对超平⾯的位置具有影响力，它们被称为“⽀持向量”。这些⽀持向量是距离超平⾯最近的样本点，它们决定了超平⾯的位置。
3、核技巧：SVM还使⽤了核函数，可以将数据从原始特征空间映射到⼀个更⾼维度的特征空间。这使得SVM可以处理非线性可分的数据。

2.公式模型

支持向量机的核心公式是间隔最大化的优化问题。对于线性可分的情况，⽀持向量机的⽬标函数为：