统计学习方法学习--感知机

         感知机是一个二类分类的线性分类模型，属于判别模型。输入为实例的特征向量，输出为实例的类别，取+1和-1值。感知机是神经网络和支持向量机的基础。

      由输入空间到输出空间的函数是：f(x)=sign(w*x+b);其中sign是符号函数；

      分离超平面S：w*x+b=0;该超平面将特征空间划分为两个部分，位于两部分的点分为正负两类。其中w为超平面的法向量（方向指向正类），b为超平面的截距。

      如图所示：

               

           感知机的目标：找出超平面，即确定w,b，将实例点分为两类；

       损失函数：误分类点到超平面S的总距离；

                        首先，输入空间中任一点x0到超平面S的距离为：，||w||为L2范数

                                        对于误分类点（xi,yi），-yi（w*xi+b)>0;

                        所以所有误分类点到超平面S的总距离是：，（M为分类点集合）

                        不考虑||w||，则得到感知机学习的损失函数：。

        策略：损失函数式最小的模型参数w,b，即感知机模型。

                                                

                                                       感知机学习算法--原始形式

       感知机学习问题转化为求解损失函数最优化问题，最优化的方法是随机梯度下降法。

       损失函数最优化：

      算法：

                             

                               

                              

                          

      

                 

      

                                           对偶形式

           

               

                     

            

            

      

感知机收敛：对于线性可分系统，感知机是收敛的。