深度学习*学习笔记----支持向量机SVM（3）

1、机器学习的一般框架
训练集 => 提取特征值 => 结合一定的算法（分类器：比如决策树，KNN）=> 得到结果
2、SVM
SVM 寻找区分两类的超平面（hyper plane），使得边际（margin）最大
超平面到一侧最近点的距离等于另一侧最近点的距离，两侧的两个超平面平行
3、线性可区分（linear separable）和线性不可区分（linear inseparable）
4、定义与公式建立
超平面可以定义为：
W*X + b = 0
W : weight vector
W={w1,w2,w3,w4,…,wn} , n是特征值的个数
X : 训练实例
B : bias
所有坐落在边际两边的超平面上的被称作“支持向量（support vector）”
5、应用
import numpy as np
import pylab as pl #画图模块
from sklearn import svm

np.random.seed(0)#固定输出值
X=np.r_[np.random.randn(20,2)-[2,2], np.randn(20,2) + [2,2]]

通过正态分布随机产生一个二维矩阵，均值为2，方差为2

Y=[0]*20 + [1]*20

归类前20个点归类为0，后20为1

clf = svm.SVC(kernel=’learn’)
clf.fit(X,Y)

w = clf.coef_[0]
a = -w[0]/w[1]
xx = np.linspace(-5,5)
yy = a * xx - (clf.intercept_[0])/ w[1]

b = clf.support_vectors_[0]
yy_down = a * xx + (b[1] - a*b[0])
b = clf.support_vectors_[-1]
yy_up = a * xx + (b[1] - a*b[0])

print (“w: “,w)
print (“a: “,a)
print (“support_vectors_: “,clf.support_vectors_)
print (“clf.coef_: “, clf.coef_)

pl.plot (xx,yy,’k–’)
pl.plot (xx,yy_down,’k–’)
pl.plot (xx,yy_up,’k–’)

pl.scatter(clf.support_vectors_[:, 0],clf.support_vectors_[:,1],
s=80, faceclors = ‘none’)
pl.scatter(X[:,0],X[:,1], c=y, cmap=pl.cm.Paired)

pl.axis(‘tight’)
pl.show()