machine learning——SVM Linear Classification

引言：

本博文MATLAB中的使用LIBSVM库来实现一个SVM线性分类的简单例子。

题目：

这是斯坦福大学的一个课堂习题（顺便推荐这个大学的网站了），放上题目链接：
http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex7/ex7.html
数据在这里下载：
http://openclassroom.stanford.edu/MainFolder/courses/MachineLearning/exercises/ex7materials/ex7Data.zip

LIBSVM库安装：

参考这个博主的博客，写的真的很好：
https://blog.csdn.net/qq_31781741/article/details/82666861#commentBox

SVM：

我们使用的SVM公式如下，推导和求解的方法都比较复杂，所以这里只给出公式,具体的SVM不再详细讲，网上有很多精彩的讲解

二维分类问题：

（1）首先考虑具有两个功能的分类问题。 使用以下命令将“ twofeature.txt”数据文件加载到Matlab / Octave中：
[ trainlabels , trainfeatures ] = libsvmread ( ’ twofeature . txt ’ );
请注意，此文件是针对LIBSVM格式化的，因此无法使用常规的Matlab / Octave命令加载该文件。(这里的常规命令是指的load命令，其实我觉得也可以使用常规命令，不贵需要另外的格式处理)
（2）首先对twofeature . txt进行打点，生成的图像如下所示：
代码：（注意这里是MATLAB格式的代码喔！！）

% Load training features and labels
[y, x] = libsvmread('twofeature.txt');
figure
pos = find(y == 1);
neg = find(y == -1);
plot(x(pos,1), x(pos,2), 'ko', 'MarkerFaceColor', 'b'); hold on;
plot(x(neg,1), x(neg,2), 'ko', 'MarkerFaceColor', 'g')

分离间隙有些明显。 但是，蓝色类别在最左边。 现在，我们将研究异常值如何影响SVM决策边界。

设置C=1

SVM优化问题中的参数C是正成本因素，会惩罚分类错误的训练示例。
首先，我们将使用C = 1运行分类器
model = svmtrain ( trainlabels , trainfeatures , ’−s 0 −t 0 −c 1 ’ );
训练完成后，“模型”将是包含模型参数的结构。现在，我们可以通过以下代码获取w和b：

model = svmtrain(y, x, sprintf('-s 0 -t 0 -c %g', C));
w = model.SVs' * model.sv_coef
b = -model.rho
if (model.Label(1) == -1)
    w = -w; b = -b;
end

一旦有了w和b，就可以使用它们绘制决策边界。结果如下图所示。