Learning representations by back-propagating errors

最新推荐文章于 2022-07-26 22:46:45 发布
最新推荐文章于 2022-07-26 22:46:45 发布
阅读量5.5k 收藏 7
点赞数 2
分类专栏： machine learning ML论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/holmosaint/article/details/82193134
版权

这篇文章清晰地阐释了backpropagation的过程。

backpropagation的精髓就在于chain rule。同时利用神经网络的结构，使得gradient descent的过程就如同反向的神经网络一般。

假设我们有如下一个神经网络

其中

Y_{ij}=\frac{1}{1+e^{-{X_{ij}}}}

X_{ij}=\sum_{j = 1}^{n}{W_{i-1,j}Y_{i-1,j}}

最终的loss function被定义为

L=\frac{1}{2}\sum_{i=1}^{m}{(y^{(i)}_{out}-d^{(i)})^2}

gradient descent所做的事情就是不断调整W的取值，使得最终的loss function最小化。

文中提到如果没有hidden layer，那么GD是一件相对容易的事情；但是如果有hidden layer，事情会复杂很多。

我们需要通过计算W的偏导数来更新W的数值，根据chain rule，可以得到第一步的分解式

\frac{\partial L}{\partial W_{ij}^{(k)}}=\frac{\partial L}{\partial Y_{k+1,j}}\frac{\partial Y_{k+1,j}}{\partial W_{ij}^{(k)}}

其中分解的第一个偏导数可以直接从loss function的定义中得到。

至于第二个偏导数我们可以利用chain rule继续分解

\frac{\partial Y_{k+1,j}}{\partial W_{ij}}=\frac{\partial Y_{k+1,j}}{\partial X_{k+1,j}}\frac{\partial X_{k+1,j}}{​{\partial W_{ij}}}

这一步中的第一个偏导数是sigmoid function的偏导数可以很简单地计算出来，第二个偏导数我们发现就是

\frac{\partial X_{k+1,j}}{​{\partial W_{ij}^{(k)}}}=Y_{ij}

然后递归下去，便可以更新所有W的值。

holmosaint
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
learning representations by back-propagating errors
03-25
learning representations by back-propagating errors
Learning representations by back-propagating errors【译文】
headonenjoy的博客
08-23 2772
Learning representations by back-propagating errors 通过反向传播错误学习表示 反向传播算法最初是在1970年代引入的，但是直到1986年David Rumelhart，Geoffrey Hinton和Ronald Williams发表了著名论文【Learning representations by back-propagating errors Rumelhart et al., Nature, 1986】后，它的重要性才得到充分认识。 这篇篇论文描述
Learning representations by back-propagating errors（反向传播BP算法译文（附原文））
cyf1294311560的博客
07-26 2223
这篇文章清晰地阐释了backpropagation的过程，它建立在梯度下降法的基础上。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。原文是。.....................
反向传播-Hinton论文系列《Learning representations by back-propagating errors》
zephyr_wang的博客
09-08 3016
1 简介 本文根据1986年Hinton等人写的《Learning representations by back-propagating errors》翻译总结的。 对于神经网络，我们描述了一个新的学习过程，反向传播（back-propagation）。其不同于感知机的方法。 如果输入单元直接与输出单元相连，它是相对容易找到一个学习规则，即迭代调整连接的相关参数，以达到不断减少网络输出与预期输出直接的差距。但当我们引入隐藏单元时，学习将变得有趣但非常困难，因为这些隐藏单元的实际状态或者预期状态并不是为任务
[BP系列]-Learning representations by back-propagating errors
Dream__Zh的博客
03-21 3045
Learning representations by back-propagating errors-[BP系列] 作者：David Everett Rumelhart, Geoffrey E. Hinton, Ronald J. Williams DE Rumelhart, GE Hinton, RJ Williams于1986年发表了两篇关于Back-propagating的文章，参见
深度学习论文 Learning representations by back-propagating errors
qq_43235540的博客
03-17 2926
Learning representations by back-propagating errors 小白读论文
论文，Learning representations by back-propagating errors.pdf
最新发布
02-20
论文《Learning representations by back-propagating errors》由David E. Rumelhart, Geoffrey E. Hinton, 和 Ronald J. Williams共同撰写，并在1986年发表于《Nature》杂志上。这篇论文是深度学习领域中的里程碑之...
Learning representations by back propagating errors(1985)
02-06
BP算法的经典文章。反向传播算法最早于上世纪70年代被提出，但是直到1986年，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams联合发表了这篇论文之后，人们才完全认识到这个算法的重要性。
Machine learning for graph-based representations
02-12
characterizing transport in DFNs, by combining graph theoretical and ma- chine learning methods. We consider a graph representation where nodes sig- nify fractures and edges denote their intersections...
Learning Internal Representations by Error Progagation.pdf
12-09
Learning Internal Representations by Error Progagation.pdf
《Back-end Performance》2017 英文原版 PDF格式
12-14
Because every second—every kilobyte—matters Performance simply matters. Technology may allow us to “go bigger”, but maybe not necessarily be better when it comes to performance. Servers and Internet connections are getting more sophisticated, and as a result, we feel the need to keep filling them.
深度学习必读论文集
04-06
深度学习领域的经典论文，主要由(hiton, lecun, bengio)三巨头完成，包括： 奠基： DeepLearning_By_Three_Giant.pdf Learning Representation By Back Propagation.pdf Dropout- A Simple Way to Prevent Neural Networks from Overfitting.pdf CNN: ImageNet Classification with Deep Convolutional Neural Networks.pdf Gradient-based learning applied to document recognition.pdf 应用相关论文： Distributed Representations of Words and Phrases and their Compositionality.pdf DeepWalk Online Learning of Social Representations.pdf node2vec Scalable Feature Learning for Networks.pdf Wide & Deep Learning for Recommender Systems.pdf
＜2＞ BP(Backprop) Algorithm 原文解读
weixin_42432619的博客
02-25 819
原文：Learning representations by back-propagating errors, 1986 作者：David E. Rumelhart*, Geoffrey E. Hintont & Ronald J. Williams* 1.目标： 使得网络的输出尽可能地接近理想的输出，因此需要调整代表着特征表示的隐藏节点的权重。但是，对于特定的任务哪些隐藏节点所表示的特征才是所希望的很难直接了解。为了在端对端中实现自动的特征选择，因此提出了BP算法。 2.算...
some understandings about 《Learning representations by back-propagating errors》
微电子学与固体电子学-俞驰
01-10 558
Dear Professor Ronald J. Williams: From <Learning representations by back-propagating errors> the Fig.3 is as follows: I re-draw the above description with orange lines。 Is the following pict...
Paper：机器学习、深度学习常用的国内/国外引用(References)论文参考文献集合(建议收藏，持续更新)
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-22 4万+
Paper：机器学习、深度学习常用的外文引用References参考文献集合(建议收藏，持续更新) References 1、国外格式 [1]D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning representations by back-propagating errors,” Nature,...
论文翻译：A PID Controller Approach for Stochastic Optimization of Deep Networks——一种用于深度网络随机优化的PID控制器方法
weixin_39506322的博客
09-07 4104
Abstract Deep neural networks have demonstrated their power in many computer vision applications. State-of-the-art deep architectures such as VGG, ResNet, and DenseNet are mostly optimized by the SGD...
神经网络：BP神经网络
Mr_zhang1911116的博客
01-23 2430
一、概述 BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 。 BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断 调整
【翻译】Learning representations by back-propagating errors
weixin_43341824的博客
07-20 1294
Learning representations by back-propagating errors摘要0三级目录 摘要 我们描述了一种新的学习程序，即反向传播，用于神经元样单元的网络。 该过程反复调整网络中连接的权重，以便最小化对网络的实际输出矢量和所需输出矢量之间的差异的度量。 权重调整的结果是，内部的**“隐藏”单元**（它们不是输入或输出的一部分）开始代表任务域的重要特征，并且任务中的规律性通过这些单元之间的相互作用来捕获。 创建有用的新功能的能力将反向传播与早期更简单的方法（例如感知器收敛过
抽点时间读经典AI论文之Learning representations by back-propagating errors
zbp_12138的博客
06-06 1064
这篇论文讲述的是世界上第一篇反向传播算法,标题的意思是通过反向传播错误来学习表征 在读这篇论文时,我是带着这三个问题去读的: 作者试图解决什么问题? 这篇论文的关键元素是什么? 论文中有什么内容可以"为你所用"? 于此同时,在讲解这篇论文时,我不会把论文全篇翻译出来,毕竟这样做毫无意义,我会把我个人觉得比较重要的部分摘出来,再结合我自己的认识,与大家分享 文章的一开头就给出了反向传播算法的原理: The procedure repeatedly adjusts the weights of the c
learning representations in model-free hierarchical reinforcement learning
09-22
在模型无关的分层强化学习中，学习表示是一项重要的任务。学习表示是指通过提取有用的信息和特征来将观察数据转化为表示向量。这些表示向量可以用于解决强化学习问题中的决策和行动选择。 模型无关的分层强化学习是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值