机器学习算法（分类算法）—支持向量机（2）

最新推荐文章于 2023-03-19 17:59:31 发布

jim_cainiaoxiaolang

最新推荐文章于 2023-03-19 17:59:31 发布

阅读量1.1k

点赞数 1

分类专栏：机器学习和深度学习

本文链接：https://blog.csdn.net/jim_cainiaoxiaolang/article/details/53182714

版权

机器学习和深度学习专栏收录该内容

38 篇文章 2 订阅

订阅专栏

一、线性可分支持向量机的概念

线性可分支持向量机是用于求解线性可分问题的分类问题。对于给定的线性可分训练数据集，通过间隔最大化构造相应的凸二次优化问题可以得到分离超平面：

$w^\ast \cdot x+b^\ast=0$

以及相应的分类决策函数

$f\left ( x \right )=sign\left ( w^\ast \cdot x+b^\ast \right )$

称为线性可分支持向量机。

二、线性可分支持向量机的原理

1、原始问题

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，这里的间隔最大化又称为硬间隔最大化。

我们可以把这样的问题抽象称为如下的数学表达式：

$\max_{w,b}\frac{\hat{\gamma }}{\left \| w \right \|}$

$s.t.\; y_i\left ( w\cdot x_i+b \right )\geq \hat{\gamma }$

然而，函数间隔 $\hat{\gamma }$ 的取值并不影响最优化问题的解，我们可以取 $\hat{\gamma }=1$ 。则上述的优化问题就可以转化为：

$\max_{w,b}\frac{1}{\left \| w \right \|}$

$s.t.\; y_i\left ( w\cdot x_i+b \right )-1\geq 0$

可以将上述的最大化问题转化为最小化问题：

$\min_{w,b}\frac{1}{2}\left \| w \right \|^2$

$s.t.\; y_i\left ( w\cdot x_i+b \right )-1\geq 0$

这样的问题是一个凸二次规划的问题。在线性可分情况下，训练数据集的样本点中的分离超平面距离最近的样本点的事例称为支持向量，即满足：

$y_i\left ( w\cdot x_i+b \right )-1=0$

2、对偶算法

对于上述的带约束的优化问题，我们可以引进拉格朗日函数来解决：

$L\left ( w,b,\alpha \right )=\frac{1}{2}\left \| w \right \|^2-\sum_{i=1}^{N}\alpha _iy_i\left ( w\cdot x_i+b \right )+\sum_{i=1}^{N}\alpha _i$

这样，原始的问题就转化成一个极小极大问题：

$\min_{w,b}\max_{\alpha }L\left ( w,b,\alpha \right )$

再通过拉格朗日函数的对偶性，将上述的极小极大问题转换成一个极大极小问题：

$\max_{\alpha }\min_{w,b}L\left ( w,b,\alpha \right )$

此时，我们先求 $\min_{w,b}L\left ( w,b,\alpha \right )$ ：

将拉格朗日函数 $L\left ( w,b,\alpha \right )$ 分别对 $w$ 和 $b$ 求偏导，并令其为0，则为

$\frac{\partial L\left ( w,b,\alpha \right )}{\partial w}=w-\sum_{i=1}^{N}\alpha _iy_ix_i=0$

$\frac{\partial L\left ( w,b,\alpha \right )}{\partial b}=\sum_{i=1}^{N}\alpha _iy_i=0$

可得：

$w=\sum_{i=1}^{N}\alpha _iy_ix_i$

$\sum_{i=1}^{N}\alpha _iy_i=0$

将上面两个等式带入拉格朗日函数 $L\left ( w,b,\alpha \right )$ ，得

$\min_{w,b}L\left ( w,b,\alpha \right )=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j\left ( x_i\cdot x_j \right )+\sum_{i=1}^{N}\alpha _i$

再求 $\min_{w,b}L\left ( w,b,\alpha \right )$ 对 $\alpha$ 的极大，即：

$\max_{\alpha }-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j\left ( x_i\cdot x_j \right )+\sum_{i=1}^{N}\alpha _i$

$s.t.\;\begin{matrix} \sum_{i=1}^{N}\alpha _iy_i=0\\ \alpha _i\geq 0 \end{matrix}$

将这样的最大化问题转化为最小化问题，即为

$\min_{\alpha }\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j\left ( x_i\cdot x_j \right )-\sum_{i=1}^{N}\alpha _i$

$s.t.\;\begin{matrix} \sum_{i=1}^{N}\alpha _iy_i=0\\ \alpha _i\geq 0 \end{matrix}$

根据拉格朗日对偶性，通过对偶函数的最优解即可以求出原始函数的最优解:

$w^\ast =\sum_{i=1}^{N}\alpha ^\ast _iy_ix_i$

$b^\ast=y_i-\sum_{i=1}^{N}\alpha ^\ast _iy_i\left ( x_i\cdot x_j \right )$

其中，下标 $j$ 是使得 $\alpha ^\ast _j> 0$ 的样本。这里使得 $\alpha ^\ast _j> 0$ 的样本也称为支撑向量，与上述的满足 $y_i\left ( w\cdot x_i+b \right )-1=0$ 的样本本质上是一样的。

三、线性可分支持向量机的步骤

1、构造带约束的优化问题：

$\min_{\alpha }\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j\left ( x_i\cdot x_j \right )-\sum_{i=1}^{N}\alpha _i$

$s.t.\;\begin{matrix} \sum_{i=1}^{N}\alpha _iy_i=0\\ \alpha _i\geq 0 \end{matrix}$

2、计算原始问题的最优解：

$w^\ast =\sum_{i=1}^{N}\alpha ^\ast _iy_ix_i$

$b^\ast =y_j-\sum_{i=1}^{N}\alpha^\ast _iy_i\left ( x_i\cdot x_j \right )$

3、求分离超平面：

$w^\ast \cdot x+b^\ast=0$

分类决策平面：

$f\left ( x \right )=sign\left ( w^\ast \cdot x+b^\ast \right )$

四、实验的仿真

我们通过二次规划来求解上述的带约束的优化问题，对于一个实例：(选自：《统计学习方法》)正例点为 $x_1=\left ( 3,3 \right )^T$ ， $x_2=\left ( 4,3 \right )^T$ ，负例点为 $x_3=\left ( 1,1 \right )^T$ ，图像为：

(正例点和负例点)

MATLAB代码

[plain] view plain copy

%% 基于凸二次规划的线性可分支持向量机
% 清空内存
clear all;
clc;
%简单的测试数据集
X = [3,3;4,3;1,1];
x_1 = X(:,1);
x_2 = X(:,2);
Y = [1,1,-1];%标签
m = size(X);
for i = 1:m(1,1)
X(i,:) = X(i,:)*Y(1,i);
end
%% 对偶问题，用二次规划来求解
H = X*X';
f = [-1;-1;-1];
A = Y;
b = 0;
lb = zeros(3,1);
% 调用二次规划的函数
[x,fval,exitflag,output,lambda] = quadprog(H,f,[],[],A,b,lb);
% 求原问题的解
n = size(x);
w = x' * X;
for i = 1:n(1,1)
if x(i,1) > 0
b = Y(1,i)-w*X(i,:)'*Y(1,i);
break;
end
end
% 求出分离超平面
y_1 = [0,4];
for i = 1:2
y_2(1,i) = (-b-w(1,1)*y_1(1,i))./w(1,2);
end
hold on
plot(y_1,y_2);
for i = 1:3
if Y(1,i) == 1
plot(x_1(i,:),x_2(i,:),'+r');
elseif Y(1,i) == -1
plot(x_1(i,:),x_2(i,:),'og');
end
end
axis([0,7,0,7])
hold off

分类的结果：

(最终的分类超平面)

jim_cainiaoxiaolang

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习算法（分类算法）—支持向量机（2）

一、线性可分支持向量机的概念线性可分支持向量机是用于求解线性可分问题的分类问题。对于给定的线性可分训练数据集，通过间隔最大化构造相应的凸二次优化问题可以得到分离超平面：以及相应的分类决策函数称为线性可分支持向量机。二、线性可分支持向量机的原理1、原始问题支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，这里的间隔
复制链接

扫一扫