8. 支持向量机SVM原理以及代码实现

#! https://zhuanlan.zhihu.com/p/611475806

支持向量机原理以及代码实现

完整的实验代码在我的github上👉QYHcrossover/ML-numpy: 机器学习算法numpy实现 (github.com) 欢迎star⭐

支持向量机（SVM）是一种常用的二分类模型，其通过在数据集中找到一个超平面（或分割线）来分割两个不同的分类，同时使得该超平面距离两个分类的最近数据点最大化，从而实现了对未知数据进行分类的目的。

SVM原理

支持向量机（Support Vector Machine，SVM）是一种常见的二分类模型。SVM的目标是在数据集中找到一个超平面（或分割线）来分割两个不同的分类，同时使得该超平面距离两个分类的最近数据点最大化，从而实现了对未知数据进行分类的目的。

假设我们有一个二分类问题，数据集为$\{(x_i,y_i){\}}_{i=1}^m$，其中$x_i$为数据点， y i ∈ { − 1 , 1 } y_i\in\{-1,1\} yi​∈{ −1,1}为该数据点所属的类别。假设我们的数据集是线性可分的，也就是说，可以找到一个超平面${\omega }^{T}x+b=0$来将两个类别分开。此时，我们的模型可以表示为：

$$f(x)=\text{sign}({\omega }^{T}x+b)$$

其中，$\text{sign}$为符号函数，即：

$$\text{sign}(x)=\{\begin{array}{ll}1,& x>0\\ -1,& x<0\\ 0,& x=0\end{array}$$

但是，很多时候，我们的数据集并不是线性可分的，也就是说，不存在一个超平面可以将两个类别完全分开。此时，我们需要使用一些技巧，将数据集映射到一个更高维的空间中，使得数据集在该空间中是线性可分的。这个技巧称为核方法（kernel trick）。

核方法的基本思想是将原始空间中的数据点$x$映射到一个更高维的特征空间中，然后在该特征空间中寻找一个超平面来进行分类。具体地，我们定义一个核函数$K(x_i,x_j)$，它表示将$x_i$和$x_j$映射到特征空间中后的内积。于是，我们的模型可以表示为：

$$f(x)=\text{sign}(\sum _{i=1}^m{\alpha }_i{y}_{i}K(x_i$$