统计学习方法读书笔记第二章感知机【自用】

最新推荐文章于 2024-04-13 16:39:34 发布

辰明Xucy

最新推荐文章于 2024-04-13 16:39:34 发布

阅读量204

点赞数 1

本文链接：https://blog.csdn.net/m0_50650660/article/details/127076119

版权

文章目录

第二章感知机

第二章感知机

2.1 感知机模型

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nkaxESqg-1664274272277)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220820164433946.png)]$

感知机是一种线性分类模型，属于判别模型

假设空间：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y7ffpvHe-1664274272278)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220820164946001.png)]$

超平面：指比他所处环境空间小一维的子空间

2.2 感知机学习策略

感知机学习目标：求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。(即确定参数ω，b)

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RZVUejgQ-1664274272278)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220923173555816.png)]$

||ω||²=ω₁²+ω₂²+ω₃²······ω_n²

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7uja4iyg-1664274272278)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220923174608846.png)]$

2.3 感知机学习的算法

感知机的学习算法是误分类驱动的，采用随机梯度下降法(stochastic gradient)。

首先任选一个超平面ω₀，b₀，然后用梯度下降法不断地极小化目标函数。

极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yeC3JXuT-1664274272279)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220925161053121.png)]$

梯度由对ω和b求偏导得来。

2.3.1 感知机学习算法的原始形式

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xqUlfExl-1664274272279)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220926091332326.png)]$

即用误分类点对超平面进行不断的迭代与更新。

感知机学习算法由于采用不同的初值或者选取不同的误分类点，解可以不同

2.3.2 算法的收敛性

即通过有限次迭代，一定可以找到一个超平面是正负两例完全分开

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LBi8MPIX-1664274272279)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220926094715888.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BXuxXcB0-1664274272279)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220926094918457.png)]$

在这里插入图片描述

2.3.3 感知机学习算法的对偶形式

基本想法：将ω和b表示为实例x_i和标记y_i的线性组合的形式，通过求解其系数从而求的ω和b。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5jYwvB5q-1664274272280)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220927174524172.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mIebeCaL-1664274272280)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220927175934046.png)]$