李航统计学学习笔记感知机

最新推荐文章于 2023-03-09 22:01:42 发布

WandaWang0822

最新推荐文章于 2023-03-09 22:01:42 发布

阅读量228

点赞数

分类专栏：概念与基础知识

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/never0822/article/details/86749123

版权

概念与基础知识专栏收录该内容

34 篇文章 2 订阅

订阅专栏

感知机模型

定义（感知机）假设输入空间（特征空间）是 $\chi$ 属于 $R^{n}$ ,输出空间是y={+1,-1}.输入属于 $\chi$ 表示实例的特征向量，对应于输出空间（特征空间）的点，输出y表示实例的类别。由输入空间到输出空间的如下函数称为感知机 f(x)=sign(w.x+b) .其中，w和b为感知机模型参数，w叫做权值或者权值向量，b叫做偏置， w.x 表示w和x的内积，sign是符号函数，即

$sign(x)=\left\{\begin{matrix} +1,x\geqslant 0 & \\ -1,x<0 & \end{matrix}\right.$

感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合{ {f|f(x)=w.x+b} }

感知机的几何解释：

线性方程： w.x+b=0 对应于特征空间 $R^{n}$ 中的一个超平面S，其中w是超平面的法向量，b是超平面的截距，这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别为正负两类，因此超平面S称为分离超平面

、感知机学习就是求得模型参数w,b感知机预测通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类型。

感知机学习策略

数据集的线性可分性：如果存在某个超平面可以把给定数据集完全正确的划分到超平面的两侧，一边为正一边为负，则称数据集为线性可分，否则为不可分。

感知机的学习策略：为了找到超平面，即确定感知机模型参数w,b，需要确定的学习策略就是要定义（经验）损失函数并将损失函数极小化。

感知机学习算法

感知机学习问题转化为求解损失函数式的最优化问题，最优化的方法是随机梯度下降法。

感知机学习算法的原始形式

求参数w,b，使其为损失函数极小化问题的解 $minL(w,b)=- \sum_{x_{i}\epsilon M}y_{i}(w.x_{i}+b)$ 其中M为误分类点的集合。感知机学习算法是误分类驱动，采用梯度下降法。

算法过程

输入：训练数据集T,学习率 $\eta$ $（0< \eta \leqslant 1）$

输出：w,b；感知机模型 f(x)=sign(w.x+b)

(1)选取初值 $w_{0},b_{0}$ (2)在训练集中选取数据 $(x_{i},y_{i})$ (3)如果 $y_{i}(w.x_{i}+b)\leqslant 0$ $w\leftarrow w+\eta y_{i}x_{i} ; b\leftarrow b+\eta y_{i}$ (4)转至（2），直至训练集中没有误分类点。

算法的收敛性

感知机学习算法的对偶形式

TBC

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
李航统计学学习笔记感知机

感知机模型定义（感知机）假设输入空间（特征空间）是属于,输出空间是y={+1,-1}.输入属于表示实例的特征向量，对应于输出空间（特征空间）的点，输出y表示实例的类别。由输入空间到输出空间的如下函数称为感知机.其中，w和b为感知机模型参数，w叫做权值或者权值向量，b叫做偏置，表示w和x的内积，sign是符号函数，即感知机模型的假设空间是定义在特征空间中的所有线性分类模...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。