SVM基本使用
SVM在解决分类问题具有良好的效果,出名的软件包有libsvm(支持多种核函数),liblinear。此外python机器学习库scikit-learn也有svm相关算法,sklearn.svm.SVC和
sklearn.svm.LinearSVC 分别由libsvm和liblinear发展而来。
推荐使用SVM的步骤为:
- 将原始数据转化为SVM算法软件或包所能识别的数据格式;
- 将数据标准化;(防止样本中不同特征数值大小相差较大影响分类器性能)
- 不知使用什么核函数,考虑使用RBF;
- 利用交叉验证网格搜索寻找最优参数(C, γ);(交叉验证防止过拟合,网格搜索在指定范围内寻找最优参数)
- 使用最优参数来训练模型;
- 测试。
1 import numpy as np
2 from sklearn.svm import SVC
3 from sklearn.preprocessing import StandardScaler
4 from sklearn.model_selection import GridSearchCV, train_test_split
5
6 def load_data(filename)
7 '''
8 假设这是鸢尾花数据,csv数据格式为:
9 0,5.1,3.5,1.4,0.2
10 0,5.5,3.6,1.3,0.5
11 1,2.5,3.4,1.0,0.5
12 1,2.8,3.2,1.1,0.2
13 每一行数据第一个数字(0,1...)是标签,也即数据的类别。
14 '''
15 data = np.genfromtxt(filename, delimiter=',')
16 x = data[:, 1:] # 数据特征
17 y = data[:, 0].astype(int) # 标签
18 scaler = StandardScaler()
19 x_std = scaler.fit_transform(x) # 标准化
20 # 将数据划分为训练集和测试集,test_size=.3表示30%的测试集
21 x_train, x_test, y_train, y_test = train_test_split(x_std, y, test_size=.3)
22 return x_train, x_test, y_train, y_test
23
24
25 def svm_c(x_train, x_test, y_train, y_test):
26 # rbf核函数,设置数据权重
27 svc = SVC(kernel='rbf', class_weight='balanced',)
28 c_range = np.logspace(-5, 15, 11, base=2)
29 gamma_range = np.logspace(-9, 3, 13, base=2)
30 # 网格搜索交叉验证的参数范围,cv=3,3折交叉
31 param_grid = [{'kernel': ['rbf'], 'C': c_range, 'gamma': gamma_range}]
32 grid = GridSearchCV(svc, param_grid, cv=3, n_jobs=-1)
33 # 训练模型
34 clf = grid.fit(x_train, y_train)
35 # 计算测试集精度
36 score = grid.score(x_test, y_test)
37 print('精度为%s' % score)
38
39 if __name__ == '__main__':
40 svm_c(*load_data('example.csv'))
网格搜索法中寻找最优参数中为寻找最优参数,网格大小如果设置范围大且步长密集的话难免耗时,但是不这样的话又可能找到的参数不是很好,针对这解决方法是,先在大范围,大步长的粗糙网格内寻找参数。在找到的参数左右在设置精细步长找寻最优参数比如:
如果训练样本的特征数量过于巨大,也许就不需要通过RBF等非线性核函数将其映射到更高的维度空间上,利用非线性核函数也并不能提高分类器的性能。利用linear核函数也可以获得足够好的结果,此外,也只需寻找一个合适参数C,但是利用RBF核函数取得与线性核函数一样的效果的话需要寻找两个合适参数(C, γ)。