libsvm 参数优选(转)

libsvm提供了 void svm_cross_validation(const struct svm_problem *prob, const struct svm_parameter *param, int nr_fold, double *target)方法

参数含义如下：

prob：待解决的分类问题，就是样本数据。
param：svm训练参数。
nr_fold：顾名思义就是k折交叉验证中的k，如果k=n的话就是留一法了。
target：预测值，如果是分类问题的话就是类别标签了，预测的类别标签

 

然后我们讨论下参数选择。
使用svm，无论是libsvm还是svmlight，都需要对参数进行设置。以RBF核为例，在《A Practical Guide to Support Vector Classi cation》一文中作者提到在RBF核中有2个参数：C和g。对于一个给定的问题，我们事先不知道C和g取多少最优，因此我们要进行模型选择（参数搜索）。这样做的目标是找到好的(C, g)参数对，使得分类器能够精确地预测未知的数据，比如测试集。需要注意的是在在训练集上追求高精确度可能是没用的（意指泛化能力）。根据前一部分所说的，衡量泛化能力要用到交叉验证。

 

其实“网格搜索”就是n层循环，n是参数个数，仍然以RBF核为例，编程实现如下：

for(double c=c_begin;c<c_end;c+=c_step)
{
for(double g=g_begin;g<g_end;g+=g_step)
{
//这里进行交叉验证，计算精确度。
}
}

通过上述两层循环找到最优的C和g就可以了。