支持向量机代码实现_支持向量机SVM及python实现

最新推荐文章于 2024-04-12 10:32:11 发布

weixin_39602615

最新推荐文章于 2024-04-12 10:32:11 发布

阅读量569

点赞数 1

文章标签：支持向量机代码实现

本文链接：https://blog.csdn.net/weixin_39602615/article/details/113412750

版权

0. 介绍

支持向量机，support vector machines,SVM，是一种二分类模型。

策略：间隔最大化。这等价于正则化的合页损失函数最小化问题。
学习算法：序列最小最优化算法SMO
分类线性可分支持向量机，线性支持向量机、非线性支持向量机。

1、线性可分支持向量机

特点：训练数据线性可分；策略为硬间隔最大化；线性分类器。

模型分类决策函数：

$equation?tex=f%28x%29%3D%5Coperatorname%7Bsign%7D%5Cleft%28w%5E%7B%2A%7D+%5Ccdot+x%2Bb%5E%7B%2A%7D%5Cright%29+%5C%5C$

分类超平面：

$equation?tex=w%5E%7B%2A%7D+%5Ccdot+x%2Bb%5E%7B%2A%7D+%3D+0+%5C%5C$

定义超平面关于样本点

$equation?tex=%28x_i%2C+y_i%29$ 的

函数间隔为：

$equation?tex=%5Chat%7B%5Cgamma%7D_%7Bi%7D%3Dy_%7Bi%7D%5Cleft%28w+%5Ccdot+x_%7Bi%7D%2Bb%5Cright%29+%5C%5C$

定义超平面关于样本点

$equation?tex=%28x_i%2C+y_i%29$ 的

几何间隔：

$equation?tex=%5Cgamma_%7Bi%7D%3Dy_%7Bi%7D%5Cleft%28%5Cfrac%7Bw%7D%7B%5C%7C%7Bw%7D%5C%7C%7D+%5Ccdot+x_%7Bi%7D%2B%5Cfrac%7Bb%7D%7B%5C%7Cw%5C%7C%7D%5Cright%29+%5C%5C$

几何距离是真正的点到面的距离。定义所有样本点到面的距离的最小值：

$equation?tex=%5Cgamma%3D%5Cmin+_%7Bi%3D1%2C+%5Cldots%2C+N%7D+%5Cgamma_%7Bi%7D+%5C%5C$

间隔最大化：对训练集找到几何间隔最大的超平面，也就是充分大的确信度对训练数据进行分类。

以下通过最大间隔法和对偶法进行实现：

最大间隔法： 1）构造约束最优化函数

$equation?tex=%5Cbegin%7Baligned%7D+%26%5Cmax+_%7Bw%2C+b%7D+%5Cquad+%5Cgamma%5C%5C+%26%5Ctext+%7B+s.t.+%7D+%5Cquad++y_%7Bi%7D%5Cleft%28%5Cfrac%7Bw%7D%7B%5C%7Cw%5C%7C%7D+%5Ccdot+x_%7Bi%7D%2B%5Cfrac%7Bb%7D%7B%5C%7Cw%5C%7C%7D%5Cright%29+%5Cgeqslant+%5Cgamma%2C+%5Cquad+i%3D1%2C2%2C+%5Ccdots%2C+N+%5Cend%7Baligned%7D+%5C%5C$

如果假设函数间隔

$equation?tex=%5Chat%5Cgamma+%3D+%7C%7Cw%7C%7C%5Cgamma+%3D+1$ ，易得上述等价于：

$equation?tex=%5Cbegin%7Baligned%7D+%26%5Cmin+%5Cquad+%5Cfrac%7B1%7D%7B2%7D%5C%7C%5Comega%5C%7C%5C%5C+%26%5Ctext+%7B+s.t.+%7D+%5Cquad+y_%7Bi%7D%5Cleft%28w+x_%7Bi%7D%2Bb%5Cright%29-1+%5Cgeq+0+%5Cend%7Baligned%7D+%5C%5C$

2)解约束函数，即获得超平面

$equation?tex=w%5E%7B%2A%7D+%5Ccdot+x%2Bb%5E%7B%2A%7D+%3D+0+%5C%5C$

对偶法：对偶算法可以使得问题更容易求解，并且能自然引入核函数，推广非线性分类。 1、定义拉格朗日函数

$equation?tex=L%28w%2C+b%2C+%5Calpha%29%3D%5Cfrac%7B1%7D%7B2%7D%5C%7Cw%5C%7C%5E%7B2%7D-%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+y_%7Bi%7D%5Cleft%28w+%5Ccdot+x_%7Bi%7D%2Bb%5Cright%29%2B%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+%5C%5C$

优化目标：

$equation?tex=%5Cmax+_%7B%5Calpha%7D+%5Cmin+_%7Bw%2Cb%7D+L%28w%2C+b%2C+%5Calpha%29+%5C%5C$

2、求

$equation?tex=%5Cmin+_%7Bw%2C+b%7D+L%28w%2C+b%2C+%5Calpha%29$ 将

$equation?tex=L$ 分别对

$equation?tex=w%2Cb$ 求偏导数，并令其等于0。

$equation?tex=%5Cbegin%7Baligned%7D+%26%5Cnabla_%7Bw%7D+L%28w%2C+b%2C+%5Calpha%29%3Dw-%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+y_%7Bi%7D+x_%7Bi%7D%3D0%5C%5C+%26%5Cnabla_%7Bb%7D+L%28w%2C+b%2C+%5Calpha%29%3D%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+y_%7Bi%7D%3D0+%5Cend%7Baligned%7D%5C%5C$

得：

$equation?tex=%5Cbegin%7Baligned%7D+%26w%3D%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+y_%7Bi%7D+x_%7Bi%7D%5C%5C+%26%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+y_%7Bi%7D%3D0+%5Cend%7Baligned%7D%5C%5C$

3、求

$equation?tex=%5Cmin+_%7Bw%2C+b%2C%5Calpha%7D+L%28w%2C+b%2C+%5Calpha%29$ 对

$equation?tex=%5Calpha$ 的极大。根据2中的结果，

$equation?tex=%5Cmin+_%7Bw%2C+b%7D+L%28w%2C+b%2C+%5Calpha%29%3D-%5Cfrac%7B1%7D%7B2%7D+%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Csum_%7Bj%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+%5Calpha_%7Bj%7D+y_%7Bi%7D+y_%7Bj%7D%5Cleft%28x_%7Bi%7D+%5Ccdot+x_%7Bj%7D%5Cright%29%2B%5Csum_%7Bi%3D1%7D%5E%7BN%7D+%5Calpha_%7Bi%7D+%5C%5C$

求

$equation?tex=min+L%28w%2Cb%2C%5Calpha%29$ 对

$equation?tex=%5Calpha$ 的极大的对偶问题是：

最低0.47元/天解锁文章

weixin_39602615

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
支持向量机代码实现_支持向量机SVM及python实现

0. 介绍支持向量机，support vector machines,SVM，是一种二分类模型。策略：间隔最大化。这等价于正则化的合页损失函数最小化问题。学习算法：序列最小最优化算法SMO分类线性可分支持向量机，线性支持向量机、非线性支持向量机。1、线性可分支持向量机特点：训练数据线性可分；策略为硬间隔最大化；线性分类器。模型分类决策函数：分类超平面：定义超平面关于样本点的函数间隔为：定...
复制链接

扫一扫