机器学习之支持向量机

支持向量机

描述
用于处理二分类问题, 对于二维线性可分的问题, 寻找决策边界(分割线), 使得支撑向量到决策边界的距离尽可能的大. 对于线性不可分的问题, 则首先将样本特征映射到更高维度, 再寻找一个超平面,使得支撑向量到超平面的距离尽可能的小. 通过核函数得展开达到这一目的. 常用的核函数有线性核, 多项式核, 高斯核.
引入正则化项(一定的容错空间). 求解的是条件(wx+b>1-eta)最优解. 解决二分类问题.,使决策边界的margin内的点尽可能少, 解决回归问题使margin内的点尽可能多, 正则化项系数大容错边界窄(L1),支持向量距离超平面近, 正则化项系数大容错边界宽,会有分错的点.
具备多项式特征(非线性)的决策边界(使用kernel参数引入多项式特征):kernel=“linear”/ “rbf”/ “poly”
适用于特征之间相关性不大的场景

接口

from sklearn.svm import LinearSVC  # 分类
from sklearn.svm import LinearSVR  # 回归
from sklearn.svm import SVC  # 分类(可以传入核函数)
from sklearn.svm import SVR  # 回归(可以传入核函数)
from sklearn.pipeline import Pipeline
clf = SVC(probability=True,cache_size=5000,max_iter=10000)
clf.fit()