从逻辑回归到SVM
SVM(support vector machines)支持向量机,一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机
SVM的假设函数为分离超平面的符号函数
y = s i g n ( w T x + b ) y = sign(w^Tx+b) y=sign(wTx+b)
什么是间隔
超平面 指n维线性空间中n-1维的子空间,该子空间将线性空间划分为不相交的两部分(一条线上的一个点将线划分为两段),其中超平面方程可表示为 w T x + b = 0 w^Tx+b=0 wTx+b=0 ,其中 w T w^T wT为超平面法向量,b为截距
间隔即为n为线性空间到n-1维超平面的”距离“
函数间隔
对于指定的训练样本 ( x i , y i ) (x_i,y_i) (xi,yi), x x x为样本标签, y i y_i yi为分类结果,对应的函数间隔为
γ i = y i ( w T ⋅ x i + b ) \gamma_i = y_i(w^T\cdot x_i+b) γi=y