模型概述
支持向量机（Support Vector Machine）是一类高效的机器学习监督模型。
模型表达式
已知训练样本集 { x i , y i } , i = 1 , 2 , . . . , m \{x^i,y^i\}, i=1,2,...,m {
xi,yi},i=1,2,...,m， 其中m为样本个数， x i = [ x 1 i , x 2 i , . . . , x n i ] x^i=[x_1^i, x_2^i, ..., x_n^i] xi=[x1i,x2i,...,xni]为第i个样本的n维特征， y i y^i yi为第i个样本的目标值，且 y ∈ { − 1 , 1 } y\in\{-1,1\} y∈{
−1,1}。欲训练一个监督学习分类模型 h θ h_\theta hθ，使得对y的预估值 y ^ \hat{y} y^满足
y ^ = h θ ( x ) = g w , b ( w T x + b ) \hat{y}=h_\theta(x)=g_{w,b}(w^Tx+b) y^=hθ(x)=gw,b(wTx+b)
其中 θ \theta θ为模型参数，且函数g定义为
g ( z ) = { − 1 , z < 0 1 , z ≥ 0 g(z)=\left\{ \begin{aligned} -1, z<0 \\ 1, z\geq0 \\ \end{aligned} \right. g(z)={
−1,z<01,z≥0
如下图所示， w T x + b = 0 w^Tx+b=0 wTx+b=0 为分割超平面，当样本计算小于0时预测为负样本( y = − 1 y=-1 y=−1)，大于0时预测为正样本( y = 1 y=1 y=1)。
目标函数
在SVM中，最优分类函数的目标是使得所有样本到分割超平面的最小几何间隔最大化。
样本到分割超平面的几何间隔为该点到超平面的垂直距离，公式为
γ ( i ) = γ ^ ( i ) ∣ ∣ w ∣ ∣ = y ( i ) ( w T x ( i ) + b ) ∣ ∣ w ∣ ∣ \gamma^{(i)}=\frac{\hat{\gamma}^{(i)}}{||w||}=\frac{y^{(i)}(w^Tx^{(i)}+b)}{||w||} γ(i)=∣∣w∣∣γ^(
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
