[深度学习基础] 反向传播：简单实例

首先以单隐藏层的MLP为例对反向传播的过程进行具体说明：

前向传播
1、网络输入层：训练集上的一小批数据作为输入，将其规范化为：
$$矩阵X,以及对应的类标签向量y$$
2、网络计算隐藏层：全连接层+ReLU
H = m a x { 0 , X W ( 1 ) } H=max{\{0,XW^{(1)}\}} H=max{ 0,XW(1)}
3、网络计算输出层：全连接层
$$H{W}^{(2)}$$
4、损失函数计算：交叉熵（最小化交叉熵将得到对分类器的最大似然估计）+正则项
$$J=J_{}$$