零.
本文所有代码均能在我 github上的 DML 找到,顺便求点Star
一.引入
从一开始接触机器学习,就感觉SVM(支持向量机 Support Vector Machine)就是高端大气上档次的代名词啊,在深度学习出来之前一直都力压ANN一头,是应用得最好的算法了,本文借着实现DML的机会实现一下。
二.原理
SVM的文章先不说论文和书啦,博文也是不少,所以我觉得实在不用在这里赘述这些了,这是标题里原理打引号的原因……
现推荐这些博客里讲的SVM,我认为写得是极好的:
JerryLead 的五篇 很好理解
july的博客,还是那啥的风格,大长篇……事实上我没看完这个…只是觉得挺全的
除此之外还可以去看看《统计学习方法》的内容
三.过程.
接下来讲一下我选择实现的SOM的基本过程吧:
SMO是(Sequential minimal optimization),其优化过程就是每次选取两个优化变量α(i)和α(j),然后更新α,直到满足停机条件为止:
我基本上是按照《统计学习方法》来实现的,所以也就直接贴一下这上面的过程:
至于alpha的选择,第一个变量的选择是要选择违反KKT条件的:
代码的这里不是直接这样实现的,因为用了Ei,为了方便形式有所改变,但你可以推一下是没问题的:
第二个变量的选择是选择使|Ei-Ej|最大的,然后按照一定的规则计算和更新就行了
四.实现与测试
from __future__ import divisionimport numpy as npimport scipy as spfrom dml.tool import signimport matplotlib.pyplot as pltfrom numpy.random import randomimport random as rdclass SVMC: def Gauss_kernel(x,z,sigma=2): return np.exp(-np.sum((x-z)**2)/(2*sigma**2)) def Linear_kernel(x,z): return np.sum(x*z) def __init__(self,X,y,C=1