直觉化深度学习教程——什么是前向传播

所谓前向传播，就是给网络输入一个样本向量，该样本向量的各元素，经过各隐藏层的逐级加权求和+非线性激活，最终由输出层输出一个预测向量的过程。

看完这篇博客，你要是还不懂，一定是我哪里没写清楚，请联系我。

一个简化的例子

因为神经网络两层之间的连线、符号、上下标，确实让人头大，我们可以由一个简化的网络来计算出神经网络两层之间激活值的传递关系。

如图1所示，我们假设一第l层的神经元有2个，第l-1层（也就是上一层）的神经元有3个。每类符号的含义已在图中说明。

图1.简化的局部网络

由于符号和下标实在太多，因此我们只要计算第一个神经元的$z_1^l$及$a_1^l$，第二个神经元的$z_2^l$及$a_2^l$简直就是照猫画虎了。图1中有一个会让人初次接触时感觉别扭，就是权重$w$的下标由其所连接的两个神经元的各自层的索引下标组成，前一层的索引在右边，而后一层的神经元左边，这是为了后面构造矩阵乘法显得简洁。

---

加权和的计算

根据图1，我们可以按照图2所示，将$z_1^l$