Learning representations by back-propagating errors论文解读

于 2024-07-25 15:46:19 发布
阅读量439 收藏 4
点赞数 2
文章标签： 深度学习 算法 人工智能 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52775136/article/details/140691871
版权

基本信息

作者DE Rumelhartdoihttps://doi.org/10.1038/323533a0
发表时间1986期刊Nature
网址https://doi.org/10.1038/323533a0

研究背景

1. What’s known 既往研究已证实
感知机：多层感知机并不能自动更新权值，而是需要手动去设计权值。
在这里插入图片描述

2. What’s new 创新点
知识和学习发生在大脑主要是通过神经元间突触的形成与变化，简要表述为赫布法则。

3. What’s are the implications 意义
不知道隐藏层的输入是多少，那么也无法调整其权重，这才为BP算法的出现带来了现实意义。

研究方法

1. 反向传播
在这里插入图片描述
在这里插入图片描述
2. 隐藏层
简单来说,隐藏层是用来提取特征的。隐藏层的作用就是把具体的特征变得抽象。
在这里插入图片描述

结果与讨论

  1. 单词向量优于以前的技术状态。
  2. 使用非常简单的模型架构可以训练高质量的词向量。计算复杂性低，可从更大的数据集中计算非常精确的高维词向量。
  3. 通过Word2vec训练出的词向量可以用于许多自然语言处理任务，例如词义相似度计算、命名实体识别和情感分析等。

个人思考与启发

了解反向传播原理。

重要图

文献中重要的图记录下来
在这里插入图片描述

抽点时间读经典AI论文之Learning representations by back-propagating errors
zbp_12138的博客
06-06 1444
这篇论文讲述的是世界上第一篇反向传播算法,标题的意思是通过反向传播错误来学习表征 在读这篇论文时,我是带着这三个问题去读的: 作者试图解决什么问题? 这篇论文的关键元素是什么? 论文中有什么内容可以"为你所用"? 于此同时,在讲解这篇论文时,我不会把论文全篇翻译出来,毕竟这样做毫无意义,我会把我个人觉得比较重要的部分摘出来,再结合我自己的认识,与大家分享 文章的一开头就给出了反向传播算法的原理: The procedure repeatedly adjusts the weights of the c
[BP系列]-Learning representations by back-propagating errors
Dream__Zh的博客
03-21 4124
Learning representations by back-propagating errors-[BP系列] 作者：David Everett Rumelhart, Geoffrey E. Hinton, Ronald J. Williams DE Rumelhart, GE Hinton, RJ Williams于1986年发表了两篇关于Back-propagating的文章，参见
learning representations by back-propagating errors
03-25
learning representations by back-propagating errors
Learning representations by back propagating errors(1985)
02-06
BP算法的经典文章。反向传播算法最早于上世纪70年代被提出，但是直到1986年，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams联合发表了这篇论文之后，人们才完全认识到这个算法的重要性。
Learning representations by back-propagating errors【译文】
headonenjoy的博客
08-23 3842
Learning representations by back-propagating errors 通过反向传播错误学习表示 反向传播算法最初是在1970年代引入的，但是直到1986年David Rumelhart，Geoffrey Hinton和Ronald Williams发表了著名论文【Learning representations by back-propagating errors Rumelhart et al., Nature, 1986】后，它的重要性才得到充分认识。 这篇篇论文描述
读文献——《Learning representations by back-propagating errors》
Annie_qu的博客
07-16 606
Back-procedure, the procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. Internal ‘hidden’ units are not part of
【翻译】Learning representations by back-propagating errors
weixin_43341824的博客
07-20 1576
Learning representations by back-propagating errors摘要0三级目录 摘要 我们描述了一种新的学习程序，即反向传播，用于神经元样单元的网络。 该过程反复调整网络中连接的权重，以便最小化对网络的实际输出矢量和所需输出矢量之间的差异的度量。 权重调整的结果是，内部的**“隐藏”单元**（它们不是输入或输出的一部分）开始代表任务域的重要特征，并且任务中的规律性通过这些单元之间的相互作用来捕获。 创建有用的新功能的能力将反向传播与早期更简单的方法（例如感知器收敛过
论文，Learning representations by back-propagating errors.pdf
02-20
论文《Learning representations by back-propagating errors》由David E. Rumelhart, Geoffrey E. Hinton, 和 Ronald J. Williams共同撰写，并在1986年发表于《Nature》杂志上。这篇论文是深度学习领域中的里程碑之...
控制学智能控制-BP神经网络PID控制器与C语言实现 Learning representations by back-propagating errors
最新发布
12-03
BP神经网络PID控制器是将误差反向传播算法（Back Propagation）应用于神经网络训练过程中，通过优化PID（比例-积分-微分）控制器的参数来实现更精确的控制。这种控制器结合了神经网络的学习能力和PID控制的稳定性，...
Learning representations by back-propagating errors
holmosaint的博客
08-29 5613
这篇文章清晰地阐释了backpropagation的过程。 backpropagation的精髓就在于chain rule。同时利用神经网络的结构，使得gradient descent的过程就如同反向的神经网络一般。 假设我们有如下一个神经网络 其中 最终的loss function被定义为 gradient descent所做的事情就是不断调整W的取值，使得最终的los...
深度学习必读论文集
04-06
深度学习领域的经典论文，主要由(hiton, lecun, bengio)三巨头完成，包括： 奠基： DeepLearning_By_Three_Giant.pdf Learning Representation By Back Propagation.pdf Dropout- A Simple Way to Prevent Neural Networks from Overfitting.pdf CNN: ImageNet Classification with Deep Convolutional Neural Networks.pdf Gradient-based learning applied to document recognition.pdf 应用相关论文： Distributed Representations of Words and Phrases and their Compositionality.pdf DeepWalk Online Learning of Social Representations.pdf node2vec Scalable Feature Learning for Networks.pdf Wide & Deep Learning for Recommender Systems.pdf
Learning representations by back-propagating errors（反向传播BP算法译文（附原文））
cyf1294311560的博客
07-26 2616
这篇文章清晰地阐释了backpropagation的过程，它建立在梯度下降法的基础上。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。原文是。.....................
深度学习论文 Learning representations by back-propagating errors
qq_43235540的博客
03-17 3458
Learning representations by back-propagating errors 小白读论文
反向传播-Hinton论文系列《Learning representations by back-propagating errors》
zephyr_wang的博客
09-08 4548
1 简介 本文根据1986年Hinton等人写的《Learning representations by back-propagating errors》翻译总结的。 对于神经网络，我们描述了一个新的学习过程，反向传播（back-propagation）。其不同于感知机的方法。 如果输入单元直接与输出单元相连，它是相对容易找到一个学习规则，即迭代调整连接的相关参数，以达到不断减少网络输出与预期输出直接的差距。但当我们引入隐藏单元时，学习将变得有趣但非常困难，因为这些隐藏单元的实际状态或者预期状态并不是为任务
some understandings about 《Learning representations by back-propagating errors》
微电子学与固体电子学-俞驰
01-10 618
Dear Professor Ronald J. Williams: From <Learning representations by back-propagating errors> the Fig.3 is as follows: I re-draw the above description with orange lines。 Is the following pict...
【论文翻译】深入理解反向传播
aibin6833的博客
05-11 469
前言 　　本篇是论文《Learning representations by back-propagating errors》的译文，论文原地址位于：http://www.iro.umontreal.ca/~pift6266/A06/refs/backprop_old.pdf，虽然只有短短四页，但十分值得读。 正文 　　本篇文章的核心公式是本科时期高数书...
＜2＞ BP(Backprop) Algorithm 原文解读
weixin_42432619的博客
02-25 1006
原文：Learning representations by back-propagating errors, 1986 作者：David E. Rumelhart*, Geoffrey E. Hintont & Ronald J. Williams* 1.目标： 使得网络的输出尽可能地接近理想的输出，因此需要调整代表着特征表示的隐藏节点的权重。但是，对于特定的任务哪些隐藏节点所表示的特征才是所希望的很难直接了解。为了在端对端中实现自动的特征选择，因此提出了BP算法。 2.算...
Paper：机器学习、深度学习常用的国内/国外引用(References)论文参考文献集合(建议收藏，持续更新)
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-22 4万+
Paper：机器学习、深度学习常用的外文引用References参考文献集合(建议收藏，持续更新) References 1、国外格式 [1]D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning representations by back-propagating errors,” Nature,...
神经网络：BP神经网络
Mr_zhang1911116的博客
01-23 2720
一、概述 BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 。 BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断 调整
卷积神经网络反向传播有没有推荐的论文
03-28
以下是卷积神经网络反向传播相关的经典论文： 1. Backpropagation Through Time: What It Does and How to Do It Efficiently (1990) by Paul Werbos 2. Learning Representations by Back-Propagating Errors (1986) by David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams 3. Convolutional Neural Networks for Image Classification (2012) by Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton 4. Visualizing and Understanding Convolutional Networks (2014) by Matthew D. Zeiler and Rob Fergus 5. Deep Residual Learning for Image Recognition (2016) by Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun 6. Very Deep Convolutional Networks for Large-Scale Image Recognition (2014) by Karen Simonyan and Andrew Zisserman 7. Going Deeper with Convolutions (2015) by Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich 以上论文都是关于卷积神经网络反向传播的经典之作，对于深入了解卷积神经网络反向传播非常有帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值