对反向传播的理解

在写这篇文章之前已经对反向传播中的链式法则的整体流程完全明白了，但是仍旧不懂为什么要采用链式法则，整个网络在反向传播的过程中所求的是什么？ 大概是爱情吧…

今天闲来无事（导师看到这篇文章能打死我吗？）在网上白嫖了一会，突然发现关注里的大神一篇文章写的简直，深得我心。所以，自己的关注还是要多看的，每一篇文章都值得学习，尤其在自己傻不拉几的时候。。。。
神经网络一：介绍，示例，代码.
这篇论文中主要是推导了反向传播的公式，很详细的公式推导，但是我没看…也有代码等我后期实践的时候看了再来反馈吧。这里主要是这篇论文让我看到一般就抓到了自己迷茫的点。也就是反向传播算法的目标是计算梯度。和随机梯度下降并不是一种东西。随机梯度下降是用来更新权重的一种方法，而反向传播是用来计算再随机梯度下降算法中所用到的梯度是如何得到的。因为前向传播使用公式太麻烦，计算量太大，所以才采用了反向传播来求梯度。具体见下文。

回归正题

明白反向传播的目标

首先，定义整体代价函数，
以上公式中的第一项J(W,b)是一个均方差项。第二项是一个正则化项，其目的是减小权重的幅度，防止过拟合。
梯度下降法中每一次迭代都按照如下公式对参数\W 和 b 进行更新：

然后大神就提出了，首先来讲一下如何使用反向传播算法来计算


也就是说，反向传播不传播不重要，重要的要计算梯度啊，因为在网络中要进行权重更新（或者是其它参数的更新），在更新的时候是通过梯度来更新的。然后现在来反思一下。为什么要使用反向传播不能直接正向传播来计算呢？

首先，摘自花树里的一段话来解释什么是前向传播和反向传播
输入x提供初始信息，然后传播到每一层的隐藏单元，最后产生输出y，这称之为前向传播，也就是在训练过程中，前向传播可以持续向前直到它产生一个标量代价函数J。
反向传播算法，是允许来自代价函数的信息通过网络向后流动，以便计算梯度。

反向传播仅指用于计算梯度的方法

为什么使用反向传播

来看一下如果不知道有反向传播的存在应该怎么做
此处应参考反向传播算法为什么要“反向”.