Learning representations by back-propagating errors论文解读

最新推荐文章于 2024-08-26 00:55:13 发布
最新推荐文章于 2024-08-26 00:55:13 发布
阅读量294 收藏 3
点赞数 2
文章标签： 深度学习 算法 人工智能 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52775136/article/details/140691871
版权

基本信息

作者DE Rumelhartdoihttps://doi.org/10.1038/323533a0
发表时间1986期刊Nature
网址https://doi.org/10.1038/323533a0

研究背景

1. What’s known 既往研究已证实
感知机：多层感知机并不能自动更新权值，而是需要手动去设计权值。
在这里插入图片描述

2. What’s new 创新点
知识和学习发生在大脑主要是通过神经元间突触的形成与变化，简要表述为赫布法则。

3. What’s are the implications 意义
不知道隐藏层的输入是多少，那么也无法调整其权重，这才为BP算法的出现带来了现实意义。

研究方法

1. 反向传播
在这里插入图片描述
在这里插入图片描述
2. 隐藏层
简单来说,隐藏层是用来提取特征的。隐藏层的作用就是把具体的特征变得抽象。
在这里插入图片描述

结果与讨论

  1. 单词向量优于以前的技术状态。
  2. 使用非常简单的模型架构可以训练高质量的词向量。计算复杂性低，可从更大的数据集中计算非常精确的高维词向量。
  3. 通过Word2vec训练出的词向量可以用于许多自然语言处理任务，例如词义相似度计算、命名实体识别和情感分析等。

个人思考与启发

了解反向传播原理。

重要图

文献中重要的图记录下来
在这里插入图片描述

卷心菜不想卷
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[BP系列]-Learning representations by back-propagating errors
Dream__Zh的博客
03-21 3308
Learning representations by back-propagating errors-[BP系列] 作者：David Everett Rumelhart, Geoffrey E. Hinton, Ronald J. Williams DE Rumelhart, GE Hinton, RJ Williams于1986年发表了两篇关于Back-propagating的文章，参见
原始论文拾遗之BP算法
qq_46110834的博客
12-10 1251
首先献上BP算法的论文名《Learning representations by back-propagating errors》需要的同学可以谷歌自取啦~ 首先声明，这篇文章不讲BP算法或者MLP的机理，仅记录总结一些Hinton在论文中提到的重要技巧，这些技巧在视频或者其它博客是不容易看到的。记录在此，一是为了自己归纳总结，二是基于开源精神，希望能帮大家在自学的路上少一些苦难。 正文： ...
深度学习论文 Learning representations by back-propagating errors
qq_43235540的博客
03-17 3030
Learning representations by back-propagating errors 小白读论文
Learning representations by back-propagating errors【译文】
headonenjoy的博客
08-23 3079
Learning representations by back-propagating errors 通过反向传播错误学习表示 反向传播算法最初是在1970年代引入的，但是直到1986年David Rumelhart，Geoffrey Hinton和Ronald Williams发表了著名论文【Learning representations by back-propagating errors Rumelhart et al., Nature, 1986】后，它的重要性才得到充分认识。 这篇篇论文描述
【翻译】Learning representations by back-propagating errors
weixin_43341824的博客
07-20 1365
Learning representations by back-propagating errors摘要0三级目录 摘要 我们描述了一种新的学习程序，即反向传播，用于神经元样单元的网络。 该过程反复调整网络中连接的权重，以便最小化对网络的实际输出矢量和所需输出矢量之间的差异的度量。 权重调整的结果是，内部的**“隐藏”单元**（它们不是输入或输出的一部分）开始代表任务域的重要特征，并且任务中的规律性通过这些单元之间的相互作用来捕获。 创建有用的新功能的能力将反向传播与早期更简单的方法（例如感知器收敛过
论文，Learning representations by back-propagating errors.pdf
02-20
论文《Learning representations by back-propagating errors》由David E. Rumelhart, Geoffrey E. Hinton, 和 Ronald J. Williams共同撰写，并在1986年发表于《Nature》杂志上。这篇论文是深度学习领域中的里程碑之...
learning representations by back-propagating errors
03-25
learning representations by back-propagating errors
Learning representations by back propagating errors(1985)
02-06
BP算法的经典文章。反向传播算法最早于上世纪70年代被提出，但是直到1986年，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams联合发表了这篇论文之后，人们才完全认识到这个算法的重要性。
跟李沐学AI：转置卷积
Landy_Jay的博客
08-23 346
卷积不会增大输入的高宽，通常卷积层后高宽不变或减半。转置卷积则可以用来增大输入的宽高。转置卷积是一种卷积，它将输入和核进行了重新排列，通常用作上采用。如果卷积将输入从变为，同样超参数的情况下，转置卷积将变为input中的每个元素分别乘以卷积核中的所有元素，最后所有中间结果相加以获得最终结果。
深度学习--自监督学习
GDHBFTGGG的博客
08-25 830
自监督学习是一种无需大量人工标注的数据驱动方法，在生成模型中应用广泛。自监督学习通过利用数据中的固有结构或属性创建“伪标签”，使模型在没有人工标签的情况下进行学习。这种方法既提高了模型的训练效率，又降低了对标注数据的依赖。
基于深度学习的分子生成
weixin_42605076的博客
08-22 1166
基于深度学习的分子生成是一项结合化学、计算科学与人工智能的新兴领域，旨在利用深度学习模型来生成具有特定性质的分子结构。该技术在药物发现、材料科学和合成化学等领域具有广泛的应用前景。
深度学习学习经验——长短期记忆网络（LSTM）
Linductor的博客
08-23 1411
长短期记忆网络（LSTM，Long Short-Term Memory）是一种特殊的循环神经网络（RNN），专为解决 RNN 中长期依赖问题而设计。
基于深度学习的可持续发展模型
weixin_42605076的博客
08-25 929
基于深度学习的可持续发展模型是指利用深度学习技术来分析和优化可持续发展中的各类问题，支持经济、社会、环境之间的平衡发展。随着全球对可持续发展的关注不断加深，深度学习作为一种强大的数据分析和建模工具，在推动可持续发展目标（SDGs）实现中发挥了重要作用。
爆改YOLOv8 | 利用YOLOv9最新的SPPELAN模块改进SPPF
weixin_43986124的博客
08-23 381
yolov8，yolov9,yolov8涨点，提升精度
爆改YOLOv8 |利用 iAFF迭代注意力改进C2f,高效涨点
weixin_43986124的博客
08-24 613
yolo，yolov8 ，iAFF注意力，C2f改进
Datawhale AI夏令营第五期【深度学习进阶】深度学习基础
最新发布
lbj1260200629的博客
08-26 246
1、神经网络优化失败的原因及解决措施1.1 常见概念1.2 逃离鞍点的方法。
基于深度学习的药物发现
weixin_42605076的博客
08-23 463
基于深度学习的药物发现是一项正在迅速发展的技术，结合了人工智能、化学和生物学领域的前沿研究，旨在加速药物的研发过程，降低成本并提高新药的成功率。传统的药物发现过程通常耗时长、费用高，并且存在较高的失败率。深度学习通过处理和分析海量生物医学数据，为药物设计和优化提供了强有力的工具。
learning representations in model-free hierarchical reinforcement learning
09-22
在模型无关的分层强化学习中，学习表示是一项重要的任务。学习表示是指通过提取有用的信息和特征来将观察数据转化为表示向量。这些表示向量可以用于解决强化学习问题中的决策和行动选择。 模型无关的分层强化学习是指不依赖于环境模型的强化学习方法。它通常由两个部分组成：低层控制策略和高层任务规划器。低层控制策略负责实际的行动选择和执行，而高层任务规划器则负责指导低层控制策略的决策过程。 学习表示在模型无关的分层强化学习中起到至关重要的作用。通过学习适当的表示，可以提高对观察数据的理解能力，使得模型能够捕捉到环境中的重要特征和结构。这些表示可以显著减少观察数据的维度，并提供更高层次的抽象，从而简化了决策和规划的过程。 学习表示的方法多种多样，包括基于深度学习的方法和基于特征选择的方法。基于深度学习的方法，如卷积神经网络和循环神经网络，可以通过学习多层次的特征表示来提取环境观察数据的有用信息。而基于特征选择的方法则通过选择最有信息量的特征来减少表示的维度，从而简化了模型的复杂度。 总之，学习表示在模型无关的分层强化学习中起到了至关重要的作用。通过学习适当的表示，模型可以更好地理解观察数据并进行决策和规划。不同的方法可以用来实现学习表示，包括基于深度学习的方法和基于特征选择的方法。这些方法的选择取决于具体任务和问题的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值