机器学习算法（三）：支持向量机

支持向量机（SVM）

给的训练集D={(x1,y1),(x2,y2)…(xm,ym)},y=1或-1。支持向量机的想法就是在样本空间中找到一个划分超平面，将不同类别的样本分开。

这样的超平面会有很多，哪一个才是最优的呢？
首先，我们描述一个超平面：

w=（w1,w2…wd) x=(x1,x2…xd) w和x均为列向量
w表示超平面的法向量，决定了超平面在空间中的角度；b为位移项，表示超平面与原点之间的距离；x表示超平面上的一个点。显然，超平面可以由参数w和b共同确定。将超平面记为(w,b)
那么空间中任意点到超平面(w,b)的距离为：

假设超平面能够将样本点正确分类，那么有