本文详细介绍了libsvm多分类模型的使用，包括文件结构、参数选项、数据格式以及Python接口的调用。同时，文章列举了libsvm在世界各地学校的使用情况，并提供了相关资源链接。读者可以通过阅读理解libsvm的训练过程、模型文件解析以及在Windows环境下的编译和运行注意事项。此外，还解答了关于libsvm的常见问题，如数据格式、许可问题、非数值型数据转换等。
问: 已有哪些学校的课程应用了libsvm？
德国弗赖堡大学，计算机科学学院应用科学系
数学与计算机科学部. Faculteit der Exacte Wetenschappen 荷兰，自由大学(VU).
威斯康辛大学-麦迪逊分校，电子工程与计算机工程系
以色列，以色列理工学院.
佛罗里达州立大学 计算机与信息科学系.
肯尼亚，奈洛比大学，计算机科学学院.
冰岛大学，应用数学与计算机科学学院.
2005，芝加哥大学,机器学习夏季学校，SVM课件.
[Go Top]
--------------------------------------------------------------------------------
问: 我在那里能够找到libsvm的文件 ?
软件包中有一个 README 文件，里面详细说明了所有参数选项、数据格式以及库函数的调用。在python目录下，模型选择工具和python界面的libsvm各有一个README文件。 初学者可以通过A practical guide to support vector classification 了解如何训练和检验数据.论文LIBSVM : a library for support vector machines 详细讨论了libsvm的使用.
[Go Top]
--------------------------------------------------------------------------------
问: 以前版本的libsvm都有什么变化?
详见变化日志.
你可以到这里下载以前版本的libsvm .
[Go Top]
--------------------------------------------------------------------------------
问: 如果我想引用libsvm， 我应该引用哪篇论文?
请引用以下论文:
Chih-Chung Chang and Chih-Jen Lin, LIBSVM : a library for support vector machines, 2001. Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm
bibtex格式如下：
@Manual{CC01a,
author = {Chih-Chung Chang and Chih-Jen Lin},
title = {{LIBSVM}: a library for support vector machines},
year = {2001},
note = {Software available at \url{http://www.csie.ntu.edu.tw/~cjlin/libsvm}}
}
[Go Top]
--------------------------------------------------------------------------------
问: 如果我想在我的软件中应用svm，是否存在软件许可问题？
Libsvm许可文件 ("修改了的BSD许可文件") 和其他许多软件的许可文件都是兼容的，如 GPL. 因此你很容易就可以把libsvm应用到你的软件中，你还可以将它应用到商业产品中.
[Go Top]
--------------------------------------------------------------------------------
问: 是否有一系列基于libsvm的附加工具?
是的，详见libsvm tools
[Go Top]
--------------------------------------------------------------------------------
问: 在Unix操作系统中， 出现了"error in loading shared libraries"(“在装载共享库时发生错误”)或者"cannot open shared object file."(无法打开共享目标文件“) 这是为什么?
如果你在一台机器上编译代码，然后到另外一台有着不兼容库的机器上运行，这种情况酒会经常发生。你在那台机器上可以重新编译一下，或者用静态连接。
[Go Top]
--------------------------------------------------------------------------------
问:修改源代码后，如果想在MS窗口中建立一个“svm-toy”的图形界面，我该怎么做？
你可以通过选择 "Win32 Project"来建立一个工程。另外对于"svm-train"和 "svm-predict" ，你需要选择"Win32 Console Project"。对于libsvm2.5以后的版本，你还可以通过Makefile.win来实现。详见README。
如果你没有用Makefile.win并出现了以下连接错误：
LIBCMTD.lib(wwincrt0.obj) : error LNK2001: unresolved external symbol
_wWinMain@16
那么，你很有可能是选择了一个错误的工程类型。
[Go Top]
--------------------------------------------------------------------------------
问: 我是MS Windows用户，在这些预编译的exe文件中，为什么只有一个(SVM_toy)运行?
你应当打开命令窗口，然后输入svmtrain.exe，这样就可以在DOS窗口中看到所有的选项了。你可以到README文件中看到一些例子
[Go Top]
--------------------------------------------------------------------------------
问:为什么有时我在training/model 文件中看不到所有的数据属性呢？W
libsvm应用了所谓的”稀疏“格式，这样零值就不用存储了。例如，有下面属性的数据
1 0 2 0
将被替换为：
1:1 3:2
[Go Top]
--------------------------------------------------------------------------------
问:如果我的数据是非数值型的，可以用libsvm吗？
目前libsvm只支持数值型的数据。因此，你必须将非数值型的转为数值型的数据。比如，你可以用二进制属性来替代原来的类别属性。
[Go Top]
--------------------------------------------------------------------------------
问:为什么要采用稀疏格式呢? 密集数据在训练时候会不会很慢？
这是个具有争议的话题。将系数向量赋值给核函数是比较慢的，因此总的训练时间至少是采用密集格式的2倍或3倍。 但是，我们不支持密集格式的数据，因为我们不能够处理极度稀疏的数据。代码的简洁也是我们考虑的一个因素。目前我们决定只支持稀疏格式的数据。
[Go Top]
--------------------------------------------------------------------------------
问: 训练C-SVM时，其输出结果如下， 它们代表什么意思?
optimization finished, #iter = 219
nu = 0.431030
obj = -100.877286, rho = 0.424632
nSV = 132, nBSV = 107
Total nSV = 132
obj 是对偶SVM问题的最优目标值. rho 是判决函数sgn(w^Tx - rho)的偏项. nSV 和 nBSV 分别代表支持向量和边界支持向量 (即alpha_i = C)的个数. nu-svm 在某中程度上可以看作 C-SVM的等价形式，不过其中的 C被替换为 nu. nu 仅表明了相应的参数. 更详细的解释请看libsvm document.
[Go Top]
--------------------------------------------------------------------------------
问:关于模型文件，您能否解释的更详细一点？
在参数后面，每一条线代表一个支持向量。 支持向量按照先列出的标签列出(即类标签列表中，第一类的支持向量首先分组，然后依次类推)
如果k是类别的总数，那么每个支持向量的前面就有k-1个y*alpha系数，其中alpha代表如下二分类问题的对偶解：
1 vs j, 2 vs j, ..., j-1 vs j, j vs j+1, j vs j+2, ..., j vs k
并且在前j-1个系数中，y=+1, 其余的k-j个系数中y=-1.例如，对于4分类问题，文件看起来结构如下：
+-+-+-+--------------------+
|1|1|1| |
|v|v|v| 类别1的支持向量 |
|2|3|4| |
+-+-+-+--------------------+
|1|2|2| |
|v|v|v| 类别2的支持向量 |
|2|3|4| |
+-+-+-+--------------------+
|1|2|3| |
|v|v|v| 类别3的支持向量 |
|3|3|4| |
+-+-+-+--------------------+
|1|2|3| |
|v|v|v| 类别4的支持向量 |
|4|4|4| |
+-+-+-+--------------------+
[Go Top]
--------------------------------------------------------------------------------
问: 在缓缓存中，是否可以用浮点型或者双精度型来存储数据?
当你在缓存中存入更多的数据时，我们默认的是浮点型.一般情况下，这样就很好了，但是对于少数困难的情况(如C非常非常大)解将是巨大的数字。这时，仅用浮点型，数值的精度可能就不够了。
[Go Top]
--------------------------------------------------------------------------------
问：怎样选择核函数?
通常我们建议你首先采用RBF核函数。Keerthi 和 Lin 的最近的研究( 下载论文) 表明如果模型选择RBF的话，就没有必要再考虑线性核函数了。采用sigmoid核函数的矩阵不一定会正有界，而且通常它的准确性也不如RBF(可参见Lin和Lin的论文 此处下载). 多项式核函数还不错，但是如果度数很高的话，数值困难就会发生(考虑到(<1)的d次幂会趋向0，(>1)的d次幂会趋向无穷)
[Go Top]
--------------------------------------------------------------------------------
问: libsvm是否可以用来专门处理线性SVM？D
不是的，目前libsvm用同样的方法处理线性/非线性SVMs. 注意：如果采用线性核函数，一些技巧可能会节省训练/检验的时间。 因此libsvm对线性SVM并不时特别有效,尤其是采用很大的C的问题，这些问题数据的数值比其属性值要大得多。你可以：
仅用很大的C.下面的论文表明了：当C大于一个确定的阀值以后，判决函数是相同的。
S. S. Keerthi and C.-J. Lin. Asymptotic behaviors of support vector machines with Gaussian kernel . Neural Computation, 15(2003), 1667-1689.
尝试用bsvm, 它有个对解决线性SVMs很有效的方法.你可以在下面的研究中找到更详细的内容:
K.-M. Chung, W.-C. Kao, T. Sun, and C.-J. Lin. Decomposition Methods for Linear Support Vector Machines. Neural Computation, 16(2004), 1689-1704.
另外，你并没必要一定要解决线性SVMs.你可以参考前面有关如何选取核函数的问题。
[Go Top]
--------------------------------------------------------------------------------
问: 自由支持向量特别大，我该怎么办?
当数据过拟和时，这种情况会经常发生. 如果数据的属性值范围特别大，你可以尝试调整它们的范围。这样合适参数的域可能会很大。注意：libsvm里包含有数据调整程序的，即svm_scale.
[Go Top]
--------------------------------------------------------------------------------
问: 我是否可以用同样的方法来调整训练数据和检验数据的范围？
是的, 可以按照以下方法:
svm-scale -s scaling_parameters train_data > scaled_train_data
svm-scale -r scaling_parameters test_data > scaled_test_data
[Go Top]
--------------------------------------------------------------------------------
问:将属性值限制到[0,1]，是否比限制到 [-1,1]有很大的不同?
对于线性规划方法，如果采用可RBF核函数并进行了参数的选择，两者是没什么不同的。假设Mi和mi分别代表第i个属性的最大值和最小值.规划到[0,1]即：
x'=(x-mi)/(Mi-mi)
对于[-1 1]：
x''=2(x-mi)/(Mi-mi)-1.
在RBF核函数中：
x'-y'=(x-y)/(Mi-mi), x''-y''=2(x-y)/(Mi-mi).
因此在[0,1]数据规划中用(C,g)，和[-1 1]数据规划中用(C,g/2)是一样的。
尽管性能相同，但是计算机时间可能不同。对于有许多零入口的数据, [0,1]规划保持了输入数据的稀疏特性，因此可能会节省计算时间。
[Go Top]
--------------------------------------------------------------------------------
问: 预测准确率很低，应该如何改进？
可以用python目下的grid.py来寻找合适的参数，grid.py是一个用来选择模型参数的工具。关于模型选择的重要性，你可以参考我的谈话： A practical guide to support vector classification
[Go Top]
--------------------------------------------------------------------------------
问: 我的数据是不平衡的，libsvm能解决这样的问题吗？
可以。libsvm有一个-wi选项。例如，你用：
svm-train -s 0 -c 10 -w1 1 -w-1 5 data_file
则对类别“-1”的惩罚就较大。注意-w选项仅用在C-SVC中。
[Go Top]
--------------------------------------------------------------------------------
问: nu-SVC和C-SVC有什么不同之处?
除了参数不同外，两者基本是一样的。C-SVC中，C的范围是0到无穷，nu-SVC中C的范围是[0 1]。 nu一个很好的特性是：它与支持向量的比率和训练误差的比率相关。
[Go Top]
--------------------------------------------------------------------------------
问: 程序一直运行，但却没有输出，应该怎么办？
你最好检查一下数据. 每一个训练/学习的数据都必须在一行，不可以分开。此外，你必须删除空行。
[Go Top]
--------------------------------------------------------------------------------
问: 程序一直运行(有输出，比如许多点)。应该怎么办？
从理论上讲，如果核矩阵式半正定的，libsvm可以保证收敛。2.4以后版本的libsvm还可以处理非半正定矩阵核，比如sigmoid(tanh)核。这样看来，你处理的情况是病态情况(比如参数过大或过小)，这样机会发生数值困难。
[Go Top]
--------------------------------------------------------------------------------
问: 训练时间太长，应该怎么办？
对于大型问题，请确保有足够的缓存空间(即-m)。对于一些困难的情况(比如-c很大)，会出现收敛很慢的情况. 你可以常识用一个较大点的终止可容忍偏差. 如果这样仍然不行，你可以和我们联系。我们会告诉你一些关于改善训练时间短小技巧。
[Go Top]
--------------------------------------------------------------------------------
问:我如何才能得到判决值?
对于回归，程序可以打印出判决值。对于分类，可以通过解几个二进制SVMs来实现多分类，因此你可以通过调用子程序svm_predict_values来实现输出判决值。然后可以通过子程序svm_get_labels得到相应的标签值。详见软件包中的README文件。
我们并不推荐以下操作，但是如果你要得到二分类的标签值+1和-1(注：这里的+1、-1和5、10的含义是不一样的)，你只要在svm.cpp文件中的 svm_predict_values(model, x, dec_values) 后面添加：printf("%f\n",dec_values[0]*model->label[0])就可以了。
正(负)判决值对应的值为+1(-1)
[Go Top]
--------------------------------------------------------------------------------
问:怎样得到一个点到超平面的距离？
距离的表达式为： |decision_value| / |w|.我们有： |w|^2 = w^Tw = alpha^T Q alpha = 2*(dual_obj + sum alpha_i). 因此在svm.pp文件中，知道输出对偶目标值的语句，在后面加上打印输出 w^Tw的语句就可以了.
[Go Top]
--------------------------------------------------------------------------------
问:在linux操作系统上，对于一些问题，如果用很大的缓存(即很大的-m)，有时候会出现“段错误”("segmentation fault“)，为什么?
在32位机器上，最大可设地址空间为4GB。Linux核将其分成3：1，即：用户的空间为3GB，核空间为1G。尽管用户有3GB的存储空间，但是最大动态分配内存只有2GB。因此如果你将-m设为2G，内存将被耗尽。因此svm-train运行时候如果需要更多内存，程序就无法运行。详见此文.
有两中方法可以解决这个问题。如果你的机器支持Intel的物理地址扩展，你可以在Linux核中起用HIGHMEM64G选项，这样用户和核都将分配到4G的空间. 此外, 你还可以使用`tub'软件，它将为动态分配内存 elimate the 2G boundary . `tub' 可以到http://www.bitwagon.com/tub.html下载.
[Go Top]
--------------------------------------------------------------------------------
问：: 怎样才可以不让svm-train 和svm-predict 在屏幕上输出?
只要将svm.cpp中的:
#if 1
void info(char *fmt,...)
改为：
#if 0
void info(char *fmt,...)
[Go Top]
--------------------------------------------------------------------------------
问:我想用自己的核函数，但我发现两个核函数赋值子程序 k_function()和kernel_function().我应该修改哪个？
我们采用两个函数地原因是: 对于RBF核函数exp(-g |xi - xj|^2),如果我们先计算xi - xj然后平方，将有3n步操作.因此我们先考虑exp(-g (|xi|^2 - 2dot(xi,xj) +|xj|^2))，并先计算所有的|xi|^2,这样计算步骤将减小到2vn。这是对于训练，但是对于预测我们不能这样做，因此必须用一个有3n个步骤的常规子程序。如果你想使用自己的核函数，最简单的办法是：用你核函数的代码替换两个子程序中的任何一个核函数的代码。.
[Go Top]
--------------------------------------------------------------------------------
问:对于多分类SVM，libsvm采用的是什么方法 ? 为什么不用"1-against-the rest" 法 ?
对于多分类，我们采用的是1against 1法.我们的选择建立在以下对比的基础上: C.-W. Hsu and C.-J. Lin. A comparison of methods for multi-class support vector machines , IEEE Transactions on Neural Networks, 13(2002), 415-425.
"1agains1the rest"是个很好的方法，而且分类效果和"1-against-1."可以相比。但是我们采用后者，因为它训练的时间更短。
[Go Top]
--------------------------------------------------------------------------------
:做完交叉检验以后，为什么没有模型文件输出?
交叉检验只是为了寻找好的参数，寻找完后，你必须在不用-v选项的情况下，重新训练整个数据，才会得到模型文件。
[Go Top]
--------------------------------------------------------------------------------
问:对于交叉检验，我想使用随机划分，应该如何操作？
如果你用的是 GNU C库，默认的种子是1.因此你在运行svm-train -v后，总是得到相同的结果. 想用不同的种子，你可在svm-train.c中添加如下代码：
#include
在子程序 do_cross_validation()的开始部分添加,
srand(time(0));
[Go Top]
--------------------------------------------------------------------------------
问:如果我想解决L2-svm 问题(即二次方误差项). 我应该怎样修改代码 ?
这十分简单. 以c-svc为例, 在svm.cpp中只要修改两个地方即可.
第一, 将solve_c_svc中的：
s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,
alpha, Cp, Cn, param->eps, si, param->shrinking);
修改为：
s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,
alpha, INF, INF, param->eps, si, param->shrinking);
第二：在SVC_Q类中, 声明C为私有变量：
double C;
在构造(constructor)中，将它赋给param.C:
this->C = param.C;
在子程序get_Q中, 在for循环之后，添加：
if(i >= start && i < len)
data[i] += 1/C;
对于一分类svm，以上修改完全一样。对于SVR,上面的if语句就没有必要了，你只要用一个简单的赋值语句即可：
data[real_i] += 1/C;
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
