算法思路
该算法主要解决二分类问题,保证数据在线性可分的情况下,以一条超平面将数据分为两个部分,即: f ( x ) = s i g n ( w T x + b ) f(x)=sign(w^Tx+b) f(x)=sign(wTx+b)。
直观一点的代价函数为: ∑ i I ( y ( i ) ≠ y ^ ( i ) ) \sum_iI(y^{(i)}\not=\hat y^{(i)}) ∑iI(y(i)=y^(i)),但是这样的代价函数是无法求导的,所以将代价函数修改为错误样本距离超平面的距离,这里下面再讨论。
有了代价函数之后,直接进行求导得到 w , b w,b w,b就好了。
模型定义
输入: X = { x ( 1 ) , x ( 2 ) , … , x ( K ) } X=\{x^{(1)}, x^{(2)}, \dots, x^{(K)}\} X={ x(1),x(2),…,x(K)}, y = { y ( 1 ) , y ( 2 ) , … , y ( K ) } y=\{y^{(1)}, y^{(2)}, \dots, y^{(K)}\} y={ y(1),y(2),…,y(K)},其中 x ( i ) ∈ R D , y ( i ) ∈ R x^{(i)}\in \mathbf{R}^D, y^{(i)}\in\mathbf{R} x(i)∈