统计学习方法第一天

第二章感知机

引言：感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，因此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知模型。感知机预测就是用学习到的感知机模型对新的输入实例进行分类。

2.1感知机模型

            (2.1)     感知机

和b为模型参数，在训练过程中进行更新。例如，和b就像构成了一个分离超平面将两个不是同一个类别的数据分离开。

2.2感知机学习策略

如果一个数据存在和b构成的模型将数据分成两类，那么就将数据集称为线性可分数据集，否则就称为线性不可分数据集。

在寻找和b过程中，需要定义一个损失函数，并将这个损失函数不断最小，取最好的结果=和b的最有解。

损失函数定义为误分类点到超平面的总距离，于是得到下面任一点到超平面的距离：

 

是L2范数

L2范数    https://blog.csdn.net/a493823882/article/details/80569888（参考）

最后得到关于2.1的损失函数

                            2.2

2.2式在有误分类是参数和b的线性函数，正确分类是0，所以该函数是连续可导函数。

也就是在训练过程中得到使L函数最小的和b的值。

2.3感知机学习算法

min                     2.3

感知机学习算法是误分类驱动的，采用随机梯度下降算法。

具体是，1）随机选取初值和b

               2）利用随机梯度下降算法不断让L变小（针对某一个误分类的点）

               3）不断循环第二个步骤，直到全部误分类的点全部归为正确的