LibSVM工具实现决策树训练

一.下载LibSVM

传送门：https://www.csie.ntu.edu.tw/~cjlin/libsvm/

二.使用LibSVM制作鸢尾花数据集

将下载的压缩文件解压如下：

该文件夹中有多种语言的代码，可自行根据自己的需要进行使用。

点击windows文件夹，在文件夹中找到名为svm-toy.exe的运行程序并运行

手动绘制数据集的点：

使用时，在程序运行框内点击鼠标左键就能打点，点击Change后能够换颜色，最后点击Save将数据保存为train.txt。

在原有基础上再次添加一点数据，保存为test.txt。

三.利用上述数据集实现模型训练并写出决策函数的数学公式

打开IDEA，新建java项目，将压缩文件下java文件夹下的libsvm文件夹所有内容拷贝到项目src中，并将

如下文件也拷贝过去：

并新建一个Test类。

IDEA项目结构如下：

为Test添加代码：

package test;

import java.io.IOException;

public class test1 {
    public static void main(String args[]) throws IOException {
        //存放数据以及保存模型文件路径
        String filepath = "D:\\z7z8\\svmtest\\";
        /*
         * -s 设置svm类型：默认值为0
         *          0– C-SVC
         *          1 – v-SVC
         *          2 – one-class-SVM
         *          3 –ε-SVR
         *          4 – n - SVR
         *
         * -t 设置核函数类型，默认值为2
         *          0 --线性核
         *          1 --多项式核
         *          2 -- RBF核
         *          3 -- sigmoid核
         *
         * -d degree:设置多项式核中degree的值，默认为3
         *
         * -c cost：设置C-SVC、ε-SVR、n - SVR中从惩罚系数C，默认值为1；
         */
        String[] arg = {"-s","0","-c","10","-t","0",filepath+"train.txt",filepath+"line.txt"};
        String[] arg1 = {filepath+"test.txt",filepath+"line.txt",filepath+"predict1.txt"};
        System.out.println("----------------线性-----------------");
        //训练函数
        svm_train.main(arg);
        svm_predict.main(arg1);


        arg[5]="1";
        arg[7]=filepath+"poly.txt";//输出文件路径
        arg1[1]=filepath+"poly.txt";
        arg1[2]=filepath+"predict2.txt";
        System.out.println("---------------多项式-----------------");
        svm_train.main(arg);
        svm_predict.main(arg1);

        arg[5]="2";
        arg[7]=filepath+"RBF.txt";
        arg1[1]=filepath+"RBF.txt";
        arg1[2]=filepath+"predict3.txt";
        System.out.println("---------------高斯核-----------------");
        svm_train.main(arg);
        svm_predict.main(arg1);

    }
}

运行项目，结果如下：

输出模型参数说明：

optimization finished,#iter = 37 //37表示迭代次数，

nu = 0.2535211267605634 //核函数的参数

obj = -127.29830762848314, rho = -5.920355351809457

//obj是SVM转换为的二次规划求解得到的最小值对偶题的最优目标值，rho是决策函数 //sgn(w^x-rho)中的偏差项(也是b,wx+b)。

nSV = 19, nBSV = 17 //nSV是支持向量的个数，nBSV是边界上支持向量的个数

Total nSV = 19 //支持向量的总的个数

Accuracy = 90.990990990991% (101/111) (classification) //精度

分析结果可知多项式和高斯核训练的模型精度略高于线性。

决策函数：

公式：f(x)=SV*x+rho

SV的值在生成的txt文件内。

在路径D:\z7z8\svmtest\下可以看到生成了如下文件：

它们分别是使用LibSVM工具进行线性，多项式，高斯核这三种分类训练后得到的数据文件，任意打开一个文件如下：

可以看见文件中除了有上述输出参数以及所有支持向量的数据。

四.总结：

使用LibSVM工具进行决策树训练，不仅能够直观地以图形界面显示，也能利用工具中的代码灵活地在项目中使用，并得到相关系数的输出。

五.参考链接：

LIBSVM使用说明、简介及感悟

基于LibSVM得到决策函数