感知器,神经网络,bp神经网络,反向传播算法,感知器网络,深度神经网络概念分不清?

本文探讨了感知器的基本原理,介绍了感知器网络在BP神经网络中的应用,并重点讲解了反向传播算法在权重更新中的关键作用。讨论了深度神经网络为何选择ReLU激活函数以简化计算,以及sigmoid函数的局限性。通过实例解释了误差沿网络逐层传递的线性比例计算方法和权值更新过程。
摘要由CSDN通过智能技术生成

感知器:一个多输入单输出的一个具有激活函数的神经元。
感知器网络:具有多个神经元(感知器)的网络。eg;bp神经网络中隐含层与输入层就是一种感知器网络。
bp神经网络:这个bp神经网络名字来源于中国人的翻译,实际上就是。前馈人工神经网络。bp也是反向传播算法,反向传播(bp)的缩写。
一般来说人工神经网络输出层,使用线性输出,那么计算中间隐含层的误差梯度就方便计算。普遍假设认为最后一层的输出的激活认为是线性的导数为1‘’(实际也有用sigmoid做归一输出,单计算依旧按照线性梯度的)。
在这里插入图片描述

反向传播算法:
对于一层网络权值的更新。从误差,更新从输出的误差计算梯度。结合输入的数值与学习率,得到局部梯度下的权值变化量。在这里插入图片描述
深度神经网络:
一般来说如果激活函数使用的半线性的话。relu,那么每一层网络的公式计算就方便。那就之和当前层输出误差,梯度,输入,学习率。有关。
这就是深度网络引入半线性激活函数作用。
如果依旧引入sigmoid那么会导致计算复杂度过于复杂。不方便更新,而且计算速度大大下降。

实际上概念定义并非都是确定的。感知器的思想是对的(负反馈思想)。
那么反传误差大小,每层之间误差传递是可以看按照线性比例计算error,在利用激活函数计算权值变化量。实现更新权值。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高山仰止景

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值