深度学习基础 多层感知器&反向传播算法

定义：
1.$W^{(l)}$为第$(l-1)$层至第l层的权重矩阵，$w_{j,k}^{(l)}$为$W^{(l)}$中的第行第$k$列的一项，表示第$(l-1)$层第$k$个节点到第$l$层第$j$个节点的权重（注意这里$j,k$的对应）。
2.$b^{(l)}$为第$l$层的偏置向量，$b_j^{(l)}$为第$l$层第$k$个节点的偏置。
3.$\sigma (...)$代表激活函数。
4.$a^{(l)}=\sigma (z^{(l)})$，其中$a_j^{(l)}=\sigma (z_j^{(l)})$
5.$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)}$，其中 z j ( l ) = ( ∑ k w j , k ( l ) a k ( l − 1 ) ) + b j ( l ) z^{(l)}_{j}=(\sum_{k}{w^{(l)}_{j,k}a^{(l-1)}_{k}})+b^{(l)}_{j} zj(l)​=(∑