感知机模型

感知机模型

SVM模型

1. 目标：寻找具有最大间隔的超平面，从而将 m 个样本分类。
   
   • m 个样本：
   • 每个样本具有n维特征 ：$x^{(0)}_i,x^{(1)}_i,..., x^{(n)}_i$
     
     • 每个样本具有一个输出：$y$
     • E.g：$(x^{(0)}_1,x^{(1)}_1,..., x^{(n)}_1,y)$
   • 超平面模型：$\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n = 0$
   • 一般来说会假定$x_0 = 1$ ，超平面模型变成：$\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n = 0$

2. 对于任意样本点$(x_i, y_i)$， 满足约束条件：$y_i(w^Tx_i + b) \geq 0$

   • 坏点：不满足约束条件的点。对于坏点，添加惩罚项，改变优化目标， 添加 loss function： $$min \frac{1}{2}|| \omega ||^2 + C \sum l_{0/1}(y_i(w^Tx_i + b) -1)$$

3. 经典SVM：将上式中第二部分，

   C