感知机从0到1

已于 2022-06-07 21:48:56 修改
阅读量151 收藏
点赞数
分类专栏： 深度学习 文章标签： 机器学习
于 2022-06-07 21:43:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45670020/article/details/125172261
版权
感知机是一种监督学习算法，用于二分类任务。它通过训练数据和对应的标签来调整权重w和截距b，寻找最佳超平面进行分类。模型的损失函数旨在最小化误分类点到超平面的距离。感知机的学习算法采用随机梯度下降法更新参数，确保有限次迭代后达到收敛。此外，感知机还有其对偶形式和一些局限性，例如仅适用于线性可分数据。本文深入探讨了感知机的各个方面，包括其数学定义、几何意义、学习过程及应用场景。
摘要由CSDN通过智能技术生成

感知机干嘛用的

感知机是一种监督算法
好像单层的感知机相当于单层的神经网络
通过输入的数据和对应的标签来训练一组权重w和b对输入的特征向量进行二分类或者说判断，比如要判断一个人帅不帅，输入特征向量可以是（身高，体重，五官评分，气质评分），然后感知机会根据以前训练的结果告诉你这个人帅不

感知机模型

在这里插入图片描述

模型的数学定义

模型为：希望通过以下的fx函数进行二分类
在这里插入图片描述

感知机模型的几何意义

这里的w向量相当于确定了一个超平面的法向量，b是截距，所以找到一组好的w和b相当于要找到一个好的超平面将两类数据分好类
在这里插入图片描述

损失函数

其中M是误分类点集合
目标是要让 所有误分类点到超平面的距离之和最小，这其实等价于希望没有误分类点
在这里插入图片描述

感知机学习算法

根据以上loss function问题转化为求解以下最优化问题
我们知道梯度方向是上升最快的方向，所以加个负号就是下降最快了，比如y=x梯度为1，x向着-1下降最快
随机梯度下降其实就是从误分类样本中拿一个作为梯度下降的方向

在这里插入图片描述

学习的具体过程

在这里插入图片描述

动手练习

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

感知机算法收敛性分析

分为两大步，一是要证明超平面的存在性，二是要证明迭代次数有限
在这里插入图片描述

下面证明存在能将数据线性划分的超平面
在这里插入图片描述

因为数据线性可分，则必然存在超平面能将数据线性划分，我们令该平面的w为w_opt，b为b_opt
在这里插入图片描述

下面证明迭代次数有限
下面的误分类次数k是迭代次数
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

感知机学习对偶形式（不太懂）

在这里插入图片描述

gram矩阵，比如第i行j列就是第i个向量和第j个向量的内积
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

感知机的局限

在这里插入图片描述

WAWA战士
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李航第二章课后习题
sanmaopep的博客
11-15 3993
原文在我的个人博客上，欢迎叨扰。
深度学习笔记（1）——感知机
01-06
感知机概念 几种感知机 与门（and_gate） 或门（or_gate） 非与门 （not_and_gate） 感知机叠加 异或门 一、感知机概念 接触深度学习的第一个概念就是感知机，感知机是与门、或门的逻辑电路，是一种判别模型。常见的...
从感知机到神经网络
weixin_44726654的博客
04-25 1161
从感知机到神经网络 1、感知机 感知机接收x1和x2两个输入信号，输出y。b是被称为偏置的参数，用于控制神经元被激活的容易程度；而w1和w2 是表示各个信号的权重的参数。这个感知机将x1、x2、1三个信号作为神经元的输入，将其和各自的权重相乘后， 传送至下一个神经元。 2、激活函数 激活函数：将输入信号的总和转换为输出信号 作用：在于决定如何来激活输入信号的总和 先计算输入 信号的加权总和，然后用激活函数转换这一总和 激活函数以阈值为界，一旦输入超过阈值，就切换输出。 这样的函数称为“阶跃函数”。因此
多层感知机（MLP）
热门推荐
林景的博客
10-24 3万+
多层感知机（MLP） 以多层感知机为例，介绍多层神经网络。 1. 隐藏层 多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。 在上图的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，上图中的多层感知机的层数为2.由上图可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。 给定
感知机和多层感知机详细学习
frighting_ing的博客
04-07 3863
1. 感知机的前向推理？ 感知机其实就是类似神经网络的一个神经元 w0相当于bias，也就是偏置 w1-wn是权重 step fuction是sign 前向推理的公式 2. 感知机的loss function是什么？ loss function即目标函数，模型所要去干的事情就是我们所定义的目标函数 这里采用各个误分类点与超平面的距离来定义。 图中（目前以输入为2维（x为x1和x2）情况下举例）w为超平面的法向量，与法向量夹角为锐角即为+1的分类，与法向量夹角为钝角为-1的分类 具体公式： 其.
感知机介绍及MATLAB实现
WANGSIRHHXI的博客
07-03 7513
文章目录前言1 感知机原理1.1 感知机结构1.2 感知机学习过程2 MATLAB实现1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 1 感知机原理   感知机（Perceptron）是二分类线性分类模型。以二维平面为例，感知机分类的过程可以看做是寻找一条直线用于分割两组数据，假设直线的一侧是正类，则直线的
Perceptron.py_单层感知机对数字图像0和1处理_
10-03
单层感知机是一种早期的人工神经网络模型，用于二分类问题。在这个实例中，我们将讨论如何使用Python实现的`Perceptron.py`来对5x5像素的数字图像"0"和"1"进行分类。这个任务是机器学习领域中的一个基础应用，它涉及...
感知机原理1
08-03
对于感知机来说，数据集需要满足线性可分性，若样本标签 y=+1，则对所有的实例 x_i，使得 w^T x_i+w_0>0；若样本标签 y=-1，则对所有的实例 x_i，使得 w^T x_i+w_0<0。 二、学习算法 感知机学习算法是误分类驱动的...
单层感知机程序.rar
12-13
单层感知机是一种简单的线性分类模型，常用于二分类问题。它的工作原理基于阈值函数，能够将输入数据映射到两类。在本项目中，我们关注的是使用Python编程语言来实现一个基于双月数据集的单层感知机。 首先，让我们...
感知机学习文档
11-05
感知机的目标是找到一个超平面 \( w \cdot x + b = 0 \)，使得所有正类样本位于一侧，所有负类样本位于另一侧。这个超平面即是分类决策边界。 #### 三、感知机学习策略 **学习目标：** 感知机学习的主要目标是寻找...
python中numpy关于布尔值转换为int的方法
WAWA战士的博客
01-31 1万+
布尔转int y.astype(np.int)#np数组使用这个转换为int np.array(x,dtype=np.int)#在将一个数组包装成np数组时顺便指定包装之后的数据类 直接对布尔值进行求和 x=np.array([True,True,False]) print(np.sum(x))#结果是2，即自动把True看成1，False看成0 ...
F.softmax函数dim解读
WAWA战士的博客
05-09 4735
F.softmax(score, dim=1) dim=1就是对score矩阵中 所有第1维下标不同，其他维下标均相同的元素进行操作（softmax） 比如a[0][8][15]和a[7][8][15]都会被选中，同时进行同一操作 而a[0][8][15]和a[0][8][15]不会 a[0][8][15]和a[0][7][15]也不会 ...
np.random.permutation()用法
WAWA战士的博客
02-06 1847
import numpy as np x=np.array([1,5,6,3,4]) permutation1=np.random.permutation(x) permutation2 = np.random.permutation(7) x=np.array([[1,9,6],[1,1,1],[9,5,2],[8,8,8]]) permutation3 = np.random.permutation(x) print(permutation1) print(permutation2) print
Softmax-with-Loss层反向传播的值除以批的大小
WAWA战士的博客
12-19 1143
对应《深度学习入门：基于 Python 的理论与实现》153页最后一段落 class SoftmaxWithLoss: def __init__(self): self.loss = None # 损失 self.y = None # softmax的输出 self.t = None # 监督数据（one-hot vector） def forward(self, x, t): self.t = t self.y = softmax(x) self.loss = cross
误差反向传播中批版本Affine层关于偏置的反向传播
WAWA战士的博客
12-18 643
对应《深度学习入门：基于Python的理论与实现》149页 对应书中的内容可以看看这里，主要用来看看图片和代码，我的图用来理解 正向传播时，偏置会被加到每一个数据（第1个、第2个……）上。因此， 反向传播时，各个数据的反向传播的值需要汇总为偏置的元素。 ...
从0到1学习SVM
WAWA战士的博客
01-21 417
凸集 定义 设K是n维欧式空间的一点集，即任意两点X，Y（均属于K）的连线上所有点aX+（1-a）Y仍属于K，（a属于0-1） 通俗理解 借用一张图，如下，若点集中任取两点，它们所连成的线段上的点仍属于该点集，则为凸集 为什么就是这么定义呢 为什么说aX+（1-a）Y所生成的点就是在X和Y的连成线段之间呢 根据aX+（1-a）Y=Y+a(X-Y)画图后就懂了 更为严谨的证明 凸优化问题 定义 待解函数为凸函数，约束是一个凸集 kkt条件 作用 使用条件 一个凸优化问题，满足slater条件，则必有强对偶
mini-batch中关于python一维数组reshape
WAWA战士的博客
01-28 411
深度学习入门那本书91页有这么一段话 输入一维数组咋就一定要reshape啊，而且还要求reshape成一维，这不是没变化吗？ t1=[1,2,6] t1=np.array(t1) print("t1数组是",end="") print(t1) print("t1数组的shape[0]是", end="") print(t1.shape[0]) t1=t1.reshape(1,t1.size) print("t1数组reshape为1维之后是",end="")
极大似然估计与交叉熵
最新发布
WAWA战士的博客
01-03 242
极大似然估计 定义：训练一个模型的参数，使得在该模型下，当前已经发生的事的发生概率最大
python添加模块搜索路径终极方法
WAWA战士的博客
05-07 213
背景： sys.path.append(os.pardir)只能在程序运行时生效，这意味着你不可以ctrl去对应其他库看代码 方法： 在site-packages文件那里创建一个txt文件，里面写库（或者某一模块）的绝对路径（我这里直接把整个项目的绝对路径写了下去），保存好之后修改为.pth后缀即可 ...
深度学习基础：从简单感知机到多层感知机
简单的感知机可以看作是一个加权投票机制，例如三个评委对一个歌手打分，打分分别为4分、1分、-3分，这三个评分的权重分别是1、3、2，则该歌手最终得分为4×1+1×3+(-3)×2=1。如果选取的阈值为3，则只有歌手的综合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值