感知器

1、 原理

感知器是根据输入实例的特征向量x对其进行二类分类的线性分类模型：

$$f(x)=sign(w*x+b)$$
感知器模型对应特征空间的分离超平面 $w*x+b=0$。

2、损失函数

损失函数对应与误分类点到分离超平面的总距离。误分类点越少，误分类点距离超平面越近，损失函数值越小。

$$minL(w,b) =-\sum_{x_i\in M}y_i(w*x_i+b)$$

3、流程

输入：训练数据集$T={(x_1,y_1),(x_2,y_2),{....},(x_N,y_N)}$，其中$x_i\in R^n; y_i \in \{ -1,+1\}; i=1,2,{...}，N;$学习率$\alpha \in (0,1)$。
输出：w,b；感知器模型 $f(x)=sign(w*x+b)$

1. 选取初值 $w_0,b_0$
2. 采用SGD，选取数据$(x_i,y_i)$

3. 如果$y_i(w*x_i+b) \le0$
   

   $$\nabla_wL(w,b)=-\sum_{x_i\in M}y_ix_i$$
   $$\nabla_bL(w,b)=-\sum_{x_i\in M}y_i$$
   $$w\leftarrow w+\alpha y_ix_i$$
   $$b\leftarrow b+\alpha y_i$$

4. 4转到2，直到训练集中没有误分类点

4、优点，缺点