【教程】利用libsvm-mat建立分类模型model参数解密【by faruto】

转载 2015年07月06日 20:53:22

原文地址:http://www.matlabsky.com/thread-12649-1-1.html

建议大家看这篇帖子之前先看一下以下几篇帖子:
如何使用libsvm进行分类【by faruto】
http://www.matlabsky.com/forum-v … -fromuid-18677.html
libsvm 参数说明【中英文双语版本】
http://www.matlabsky.com/forum-v … -fromuid-18677.html
线性可分模式的最优超平面的详细推导过程【支持向量机相关】
http://www.matlabsky.com/forum-v … -fromuid-18677.html
更多关于SVM相关的东西可以看:
关于SVM的那点破事[长期更新整理 by faruto]
http://www.matlabsky.com/forum-v … -fromuid-18677.html

=======================================================
本帖子主要就是讲解利用libsvm-mat工具箱建立分类(回归模型)后,得到的模型model里面参数的意义都是神马?以及如果通过model得到相应模型的表达式,这里主要以分类问题为例子。

测试数据使用的是libsvm-mat自带的heart_scale.mat数据(270*13的一个属性据矩阵,共有270个样本,每个样本有13个属性),方便大家自己测试学习。

首先上一个简短的测试代码:

%% ModelDecryption
% by faruto @ faruto’s Studio~
% http://blog.sina.com.cn/faruto
% Email:faruto@163.com
% http://www.MATLABsky.com
% http://www.mfun.la
% http://video.ourmatlab.com
% last modified by 2011.01.06
%% a litte clean work
tic;
close all;
clear;
clc;
format compact;
%%
% 首先载入数据
load heart_scale;
data = heart_scale_inst;
label = heart_scale_label;
% 建立分类模型
model = svmtrain(label,data,’-s 0 -t 2 -c 1.2 -g 2.8’);
model
% 利用建立的模型看其在训练集合上的分类效果
[PredictLabel,accuracy] = svmpredict(label,data,model);
accuracy
%%
toc;
复制代码
运行结果:

model =
Parameters: [5x1 double]
nr_class: 2
totalSV: 259
rho: 0.0514
Label: [2x1 double]
ProbA: []
ProbB: []
nSV: [2x1 double]
sv_coef: [259x1 double]
SVs: [259x13 double]
Accuracy = 99.6296% (269/270) (classification)
accuracy =
99.6296
0.0148
0.9851
Elapsed time is 0.040155 seconds.
复制代码
这里面为了简单起见没有将测试数据进行训练集和测试集的划分,这里仅仅是为了简单明了而已,分类结果估计可以不要管,参数优化也不要管,另有帖子讲解。

下面我们就看看 model这个结构体里面的各种参数的意义都是神马,model如下:
model =
Parameters: [5x1 double]
nr_class: 2
totalSV: 259
rho: 0.0514
Label: [2x1 double]
ProbA: []
ProbB: []
nSV: [2x1 double]
sv_coef: [259x1 double]
SVs: [259x13 double]

model.Parameters

我们先来看一下model.Parameters里面承装的都是什么:

model.Parameters
ans =
0
2.0000
3.0000
2.8000
0
复制代码
重要知识点:

model.Parameters参数意义从上到下依次为:
-s svm类型:SVM设置类型(默认0)
-t 核函数类型:核函数设置类型(默认2)
-d degree:核函数中的degree设置(针对多项式核函数)(默认3)
-g r(gama):核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数) (默认类别数目的倒数)
-r coef0:核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)

即在本例中通过model.Parameters我们可以得知 –s 参数为0;-t 参数为 2;-d 参数为3;-g 参数为2.8(这也是我们自己的输入);-r 参数为0。

关于libsvm参数的一点小说明:
Libsvm中参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合,如果设置的参数在函数或SVM类型中没有也不会产生影响,程序不会接受该参数;如果应有的参数设置不正确,参数将采用默认值。

model.Label model.nr_class

model.Label
ans =
1
-1
model.nr_class
ans =
2
复制代码
重要知识点:

model.Label表示数据集中类别的标签都有什么,这里是 1,-1;
model.nr_class表示数据集中有多少类别,这里是二分类。

model.totalSV model.nSV

model.totalSV
ans =
259
model.nSV
ans =
118
141
复制代码
重要知识点:

model.totalSV代表总共的支持向量的数目,这里共有259个支持向量;
model.nSV表示每类样本的支持向量的数目,这里表示标签为1的样本的支持向量有118个,标签为-1的样本的支持向量为141。
注意:这里model.nSV所代表的顺序是和model.Label相对应的。

model.ProbA model.ProbB

关于这两个参数这里不做介绍,使用-b参数时才能用到,用于概率估计。
-b probability_estimates: whether to train a SVC or SVR model for probability estimates, 0 or 1 (default 0)

model.sv_coef model.SVs model.rho

   sv_coef: [259x1 double]
       SVs: [259x13 double]
            model.rho =  0.0514

复制代码
重要知识点:

model.sv_coef是一个259*1的矩阵,承装的是259个支持向量在决策函数中的系数;
model.SVs是一个259*13的稀疏矩阵,承装的是259个支持向量。
model.rho是决策函数中的常数项的相反数(-b)

在这里首先我们看一下 通过 –s 0 参数(C-SVC模型)得到的最终的分类决策函数的表达式是怎样的?
这里如果有关于C-SVC模型不懂的地方,请看这个pdf文件:

libsvm_library.pdf
附件:
libsvm_library.pdf (316.82 KB, 下载次数: 21547)

最终的决策函数为:

在由于我们使用的是RBF核函数(前面参数设置 –t 2),故这里的决策函数即为:

其中|| x-y ||是二范数距离 ;

这里面的
b就是-model.rho(一个标量数字);
b = -model.rho;
n代表支持向量的个数即 n = model.totalSV(一个标量数字);

对于每一个i:
wi =model.sv_coef(i); 支持向量的系数(一个标量数字)
xi = model.SVs(i,:) 支持向量(1*13的行向量)

x 是待预测标签的样本 (1*13的行向量)
gamma 就是 -g 参数

好的下面我们通过model提供的信息自己建立上面的决策函数如下:

%% DecisionFunction
function plabel = DecisionFunction(x,model)

gamma = model.Parameters(4);
RBF = @(u,v)( exp(-gamma.*sum( (u-v).^2) ) );

len = length(model.sv_coef);
y = 0;

for i = 1:len
u = model.SVs(i,:);
y = y + model.sv_coef(i)*RBF(u,x);
end
b = -model.rho;
y = y + b;

if y >= 0
plabel = 1;
else
plabel = -1;
end
复制代码
有了这个决策函数,我们就可以自己预测相应样本的标签了:

%%
plable = zeros(270,1);
for i = 1:270
x = data(i,:);
plabel(i,1) = DecisionFunction(x,model);
end

%% 验证自己通过决策函数预测的标签和svmpredict给出的标签相同
flag = sum(plabel == PredictLabel)
over = 1;
复制代码
最终可以看到 flag = 270 ,即自己建立的决策函数是正确的,可以得到和svmpredict得到的一样的样本的预测标签,事实上svmpredict底层大体也就是这样实现的。

最后我们来看一下,svmpredict得到的返回参数的意义都是什么

在下面这段代码中 :

%%
% 首先载入数据
load heart_scale;
data = heart_scale_inst;
label = heart_scale_label;
% 建立分类模型
model = svmtrain(label,data,’-s 0 -t 2 -c 1.2 -g 2.8’);
model
% 利用建立的模型看其在训练集合上的分类效果
[PredictLabel,accuracy] = svmpredict(label,data,model);
accuracy
复制代码
运行可以看到

model =
Parameters: [5x1 double]
nr_class: 2
totalSV: 259
rho: 0.0514
Label: [2x1 double]
ProbA: []
ProbB: []
nSV: [2x1 double]
sv_coef: [259x1 double]
SVs: [259x13 double]
Accuracy = 99.6296% (269/270) (classification)
accuracy =
99.6296
0.0148
0.9851
复制代码
这里面要说一下返回参数accuracy的三个参数的意义。

重要的知识点:

返回参数accuracy从上到下依次的意义分别是:
分类准率(分类问题中用到的参数指标)
平均平方误差(MSE (mean squared error)) [回归问题中用到的参数指标]
平方相关系数(r2 (squared correlation coefficient))[回归问题中用到的参数指标]

其中mse 和r2的计算公式分别为:

插图:

写在后面的话,至此关于model中相应参数的一些意义,以及到底如果得到决策函数的表达式或者计算方式的就算是说的很明了了。

可能还有的同学会问,如何得到分类决策函数中的那个alpha系数【这个肯定会有人问】,还是再磨叽说一下吧:

上面的wi其实是alpha和支持向量的类别标签(1或-1的乘积),原始决策函数的表达式如下:
插图:

上面的yi是支持向量的类别标签(1或者-1),在libsvm中将yi和alpha的乘积放在一起用model.sv_coef(w)来承装。
都说到这份上,应该能明白了吗?

再说点废话:就是在关于SVM的学习中,我发现很多朋友都不主动思考和尝试,老是在问,这样很不好,这样很被动,上面这些也没有人教我,都是我自己思考出来,然后编程验证,如果出现不合理的地方就再继续思考,反正道理和书籍里面都有讲解,总能洞穿的啊。O(∩_∩)O•

Anyway,有关于SVM的问题还是可以一起探讨的,但您首先要独立思考一下下才好,您说是不是~

PS:预祝大家春节愉快

by faruto 2011.01.06

利用libsvm-mat建立分类模型model参数解密

建议大家看这篇帖子之前先看一下以下几篇帖子: 如何使用libsvm进行分类【by faruto】 http://www.matlabsky.com/forum-v ... -fromuid-186...
  • lockelk
  • lockelk
  • 2011年11月15日 21:56
  • 1251

Mysql学习笔记(七):用MySQLWorkBench创建数据库和模型

首先打开MySQLworkbench,切换本地数据库界面:localhost:3306; 然后点击File-New Model,出现下图所示的界面;双击Add Diagram,出现下图所示的界面; 按...
  • Jalon2015
  • Jalon2015
  • 2017年04月12日 11:06
  • 2326

keras创建模型

关于Keras模型Keras有两种类型的模型,序贯模型(Sequential)和函数式模型(Model),函数式模型应用更为广泛,序贯模型是函数式模型的一种特殊情况。Sequential models...
  • jiandanjinxin
  • jiandanjinxin
  • 2017年08月15日 09:49
  • 1264

weka实际操作--构建分类、回归模型

weka提供了几种处理数据的方式,其中分类和回归是平时用到最多的,也是非常容易理解的,分类就是在已有的数据基础上学习出一个分类函数或者构造出一个分类模型。这个函数或模型能够把数据集中地映射到某个给定的...
  • qq_38663729
  • qq_38663729
  • 2017年08月16日 16:43
  • 347

利用训练好的网络参数模型批量对文字分类(caffe)

前提:将caffe的Python接口编译正确 import os import caffe import numpy as np root='/home/lrj/Caffe/caf...
  • feelingjun
  • feelingjun
  • 2017年10月13日 09:28
  • 150

Tensorflow 使用slim框架下的分类模型进行分类

Tensorflow的slim框架可以写出像keras一样简单的代码来实现网络结构(虽然现在keras也已经集成在tf.contrib中了),而且models/slim提供了类似之前说过的object...
  • cugxyy6
  • cugxyy6
  • 2017年10月27日 20:44
  • 264

django-2-模型

django模型 笔记
  • u010505059
  • u010505059
  • 2017年11月27日 00:17
  • 115

Yii2—模型(Model)

模型(Model) 模型的定义 属性 属性的定义 属性的访问 属性的批量读取和赋值 属性标签 场景 验证...
  • wjtlht928
  • wjtlht928
  • 2015年06月09日 08:18
  • 3504

UML 的九种模型图--UML建模基础知识

Trufun Plato Trufun Plato是新一代的UML建模软件,它将为您的软件分析设计提供高效快捷的建模工具。Trufun是在OMG发布UML2.2规范之后同步发布UML2.X工具的...
  • aswallow0323
  • aswallow0323
  • 2016年05月30日 16:33
  • 899

Libsvm-Faruto Ultimate工具箱学习笔记

分类算法的大致流程: 利用参数寻优函数进行参数寻优,这里的参数是SVMtrain训练模型的参数,调用寻优参数函数找到最优参数c,g,然后利用最优参数去训练模型,如果更加注重某一类的话,可以在得出来的c...
  • dulingtingzi
  • dulingtingzi
  • 2016年03月30日 10:55
  • 4378
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【教程】利用libsvm-mat建立分类模型model参数解密【by faruto】
举报原因:
原因补充:

(最多只允许输入30个字)