简单易学的机器学习算法——线性可分支持向量机

一、线性可分支持向量机的概念

    线性可分支持向量机是用于求解线性可分问题的分类问题。对于给定的线性可分训练数据集，通过间隔最大化构造相应的凸二次优化问题可以得到分离超平面：

以及相应的分类决策函数

称为线性可分支持向量机。

二、线性可分支持向量机的原理

1、原始问题

   支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，这里的间隔最大化又称为硬间隔最大化。

   我们可以把这样的问题抽象称为如下的数学表达式：

然而，函数间隔的取值并不影响最优化问题的解，我们可以取。则上述的优化问题就可以转化为：

可以将上述的最大化问题转化为最小化问题：

这样的问题是一个凸二次规划的问题。在线性可分情况下，训练数据集的样本点中的分离超平面距离最近的样本点的事例称为支持向量，即满足：

2、对偶算法

   对于上述的带约束的优化问题，我们可以引进拉格朗日函数来解决：

这样，原始的问题就转化成一个极小极大问题：

再通过拉格朗日函数的对偶性，将上述的极小极大问题转换成一个极大极小问题：

此时，我们先求：

    将拉格朗日函数分别对和求偏导，并令其为0，则为

可得：

将上面两个等式带入拉格朗日函数，得

再求对的极大，即：

将这样的最大化问题转化为最小化问题，即为

根据拉格朗日对偶性，通过对偶函数的最优解即可以求出原始函数的最优解:

其中，下标是使得的样本。这里使得的样本也称为支撑向量，与上述的满足的样本本质上是一样的。

三、线性可分支持向量机的步骤

1、构造带约束的优化问题：

2、计算原始问题的最优解：

3、求分离超平面：

分类决策平面：

四、实验的仿真

    我们通过二次规划来求解上述的带约束的优化问题，对于一个实例：(选自：《统计学习方法》)正例点为，，负例点为，图像为：

(正例点和负例点)

MATLAB代码

%% 基于凸二次规划的线性可分支持向量机

% 清空内存
clear all;
clc;

%简单的测试数据集
X = [3,3;4,3;1,1];
x_1 = X(:,1);
x_2 = X(:,2);
Y = [1,1,-1];%标签


m = size(X);
for i = 1:m(1,1)
    X(i,:) = X(i,:)*Y(1,i);
end

%% 对偶问题，用二次规划来求解
H = X*X';

f = [-1;-1;-1];
A = Y;
b = 0;
lb = zeros(3,1);
% 调用二次规划的函数
[x,fval,exitflag,output,lambda] = quadprog(H,f,[],[],A,b,lb);

% 求原问题的解
n = size(x);
w = x' * X;

for i = 1:n(1,1)
    if x(i,1) > 0
        b = Y(1,i)-w*X(i,:)'*Y(1,i);
        break;
    end
end

% 求出分离超平面

y_1 = [0,4];
for i = 1:2
    y_2(1,i) = (-b-w(1,1)*y_1(1,i))./w(1,2);
end

hold on
plot(y_1,y_2);
for i = 1:3
    if Y(1,i) == 1
        plot(x_1(i,:),x_2(i,:),'+r');
    elseif Y(1,i) == -1
        plot(x_1(i,:),x_2(i,:),'og');
    end
end
axis([0,7,0,7])
hold off

分类的结果：

(最终的分类超平面)