神经网络与深度学习反向传播算法的四项基本公式

1.定义

$w_{kj}^l$表示从l-1层的第k个感知器到第l层的第j个感知器的权重

$b_j^l$ 用来表示l层第j个感知器的偏置项，$a_j^l$则表示l层第j个感知器的激活值(对加权后的输出值使用激活函数非线性处理，激活函数会作用于每一个感知器上也就是不仅仅是最后一个输出)
则有

$$a_j^l = \sum_{k} w_{kj}^la_j^{l-1} + b_j^l$$
向量化表示：
$w^l$为权重矩阵，