李航统计学习方法----感知机章节学习笔记以及python代码

目录

1 感知机模型

2 感知机学习策略

2.1 数据集的线性可分性

2.2 感知机学习策略

3 感知机学习算法

3.1 感知机学习算法的原始形式

3.2 感知机算法的对偶形式

4 感知机算法python代码

        感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型．感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式．感知机预测是用学习得到的感知机模型对新的输入实例进行分类.感知机1957年由Rosenblatt提出，是神经网络与支持向量机的基础.

1 感知机模型

        假设输入空间（特征空间）是x是n维列向量，输出空间是y={+1,-1}．输入x表示实例的特征向量，对应于输入空间（特征空间）的点;输出y表示实例的类别．由输入空间到输出空间的如下函数，其中sign是符号函数：

        其中是分离超平面，在几何上表示为下图，正类样本是与分离超平面法向量夹角余弦值为正的点，负类样本则是夹角余弦值为负的点。

2 感知机学习策略

2.1 数据集的线性可分性

        数据集可以被一个超平面完全正确的分成两个部分，则称数据集是线性可分的。否则是线性不可分的，现实中的数据集往往是线性不可分的。

2.2 感知机学习策略

        假设数据集是线性可分的，感知机的目的就是求得一个是正负类样本完全正确分离的超平面。为了找到这个超平面，需要找到感知机模型的参数w和b。同时还要确定一个学习策略，来使损失函数极小化。损失函数一般要可导，这里损失函数的思想是所有误分类的点到超平面的总距离。其中是超平面的模长。

        对于误分类的点来说：

       假设所有误分类的样本都属于集合M，并且忽略掉超平面的模长，那么就可以得到所有误分类的点到达超平面的总距离为：