机器学习算法——支持向量机SVM8(基于乳腺癌数据集的代码实例)

本文使用sklearn来实现SVM。

首先，导入所需要的包

from sklearn.datasets import load_breast_cancer
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import numpy as np
from time import time
import datetime

SVM最重要的就是核函数的选择。一般使用线性核函数、多项式核函数、高斯函数以及sigmoid函数，所以下面给出选择核函数的代码。

def select_kernel(Xtrain, Ytrain):
    kernel = ["linear", "poly", "rbf", "sigmoid"]
    kernel_dict = {}
    for kernel in kernel:
        time0 = time() #对现在的时间形成“时间戳”的功能，代表一个时间点
        clf = SVC(kernel=kernel
                  , gamma="auto"
                  , degree=1#多项式核函数，1就是线性，3就是非线性
                  , cache_size=5000#允许使用电脑的多少内存来进行计算，单位是MB,默认200MB
                  ).fit(Xtrain, Ytrain)
        print("The accuracy under kernel %s is %f" % (kernel, clf.score(Xtest, Ytest)))
        kernel_dict_new = {kernel : clf.score(Xtest, Ytest)}
        kernel_dict.update(kernel_dict_new)
        print(datetime.datetime.fromtimestamp(time()-time0).strftime('%M:%S:%f'))  #每个核函数运行花了多长时间
    selected_kernel = max(kernel_dict, key=kernel_dict.get)
    accuracy = kernel_dict[selected_kernel]
    return selected_kernel,accuracy

最后主代码为：

if  __name__ == '__main__':
    # 导入数据集
    data = load_breast_cancer()  # data是一个字典
    X = data.data  # 输出特征矩阵 是一个569行30个特征的数据
    y = data.target  # 输出标签
    no_repeat = np.unique(y)  # 有多少个不重复的值

    Xtrain, Xtest, Ytrain, Ytest = train_test_split(X, y, test_size=0.3, random_state=420)  # 划分训练集和测试集，
    selected_kernel,accuracy = select_kernel(Xtrain, Ytrain)
    print("select %s accuracy is %f" % (selected_kernel, accuracy))

得到的结果为：

 由结果看出，线性核函数使得支持向量机的准确率更高。