感知机模型理解和实现

感知机模型： f(x)=w∙x+b
二分类超平面定义：w∙x+b=0
分类后有效分类判断标准：
所有的正样本点使得y_i>0 所有负样本使得y_i<0
如何学习得到分类超平面：
第一选择、统计误分类样本总数，设计方法使得该总数最小；
第二选择、统计所有误分类样本点到预定义超平面距离之和，设计方法（随机梯度下降SGD）使得该距离和最小。
实现方法：
定义的损失函数为：L(w,b)=-y_i ∑(x_i∈M)▒〖w∙x_i+b〗 目标:minL(w,b)=-y_i ∑(x_i∈M)▒〖w∙x_i+b〗
实现过程：首先随机确定一个w_0 和b_0，计算得到分类超平面；随机选择一个误分类点计算其与超平面距离之后，采用随机梯度下降使得误分类点能够对应正确超平面，该过程由于M是确定的，所以两个参数对应的梯度求解方法为：
∇w L=-∑(x_i∈M)▒〖y_i x_i 〗

∇b L=-∑(x_i∈M)▒y_i
根据上式可以针对当前研究的误分类点（x_i,y_i）进行基于该点数值的w,b的更新
w←w+〖ηy〗_i x_i
b←b+ηy_i
直到针对该误分类点实现正确分类为止。
具体过程为：
1、确定损失函数L(w,b)=-y_i ∑_(x_i∈M)▒〖w∙x_i+b〗和更新步长η（一般取1）
2、随机选择一个误分点（x_0,y_0）；
3、检测该误分点对应的判断准则y_i（w∙x_i+b）≥0是否满足；
4、不满足则根据求解方法进行迭代直至满足3中条件
5、随机选择其它误分点进行实验直至所有误分点全部修正实现最终正确的超平面的正解
（注意每次修正一个点之后对其它点进行修正时仍然要考虑修正结果是否满足之前已实验点的正确分类）