感知机算法分类原理学习笔记

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

1. 感知机模型

给定训练样本集

令

若存在超平面，使下面等式成立：

若某一样本满足超平面不等式：

则该样本为正样本；

若另一样本满足平面不等式：

为了简化该模型，我们使用向量x表示样本，向量w表示参数，并用sign函数表示不等式，则有：

函数sign(x)的含义为：

上述这一模型就是我们熟知的感知机模型，如下图：

2. 感知机模型的损失函数

若我们知道了感知机模型的超平面，我们定义误分类点到超平面的距离为该样本点的损失函数。

误分类点的含义为感知机模型错误分类的点，如下图：

误分类点满足下式：

误分类样本的损失函数为该样本点到超平面的距离：

我们发现，当分子参数 w 增加N倍时，分母参数的L2范数也会相应的增加N倍，因此误分类样本可以简化为：

损失函数为误分类点到超平面的距离之和：

3. 感知机模型损失函数的优化过程

由上节可知，损失函数为误分类点到超平面的距离之和：

损失函数相对于参数w的偏导数为：

梯度下降法更新模型参数：

即：

其中λ为学习率。

梯度下降法迭代过程中止条件：当参数 w 迭代过程中，没有任何的误分类点，则迭代结束。

4. 感知机模型的算法对偶形式

若样本容量为N，每一个样本的迭代次数为，模型参数的初始值为0，由梯度下降法可得：

我们容易知道正确分类样本的迭代次数等于0。

令

有：

上式就是参数 w 的表达式。

对于某一个样本，若：

则该样本为误分类点，需要用梯度下降法更新参数。

若：

则该样本为正确分类的点，不需要更新参数。

为了加快算法运行速度，我们首先计算每个样本间的Gram矩阵，在感知机对偶形式的内积计算时直接调用Gram矩阵的元素，节省了样本内积计算的时间。

5.感知机分类模型的缺点

感知机模型的超平面不是唯一的，超平面与误分类点的计算顺序、初始值以及学习率相关，如下两个超平面，都能使损失函数等于0。

分类模型肯定会有最佳的超平面，感知机模型不能得到最优超平面，支持向量机在感知机模型的基础上得到最优超平面，下节将介绍支持向量机。

参考：

https://www.cnblogs.com/pinard/p/6042320.html

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~