动手学深度学习——多层感知机

多层感知机

多层感知机是一种简单的神经网络，包含输入层、隐藏层以及输出层。如下图所示。

多层感知机的计算过程

输入层为小批量样本$\mathbf{X}\in {\mathbb{R}}^{n\times d}$，批量大小为$n$，输入个数为$d$。上述图的多层感知机为单隐藏层，隐藏层输出为$H$，$\mathbf{H}\in {\mathbb{R}}^{n\times h}$，$h$为隐藏层单元个数。网络各层之间全连接，设隐藏层的权重参数和偏差参数分别为 W h ∈ R d × h \boldsymbol{W}_{h} \in \mathbb{R}^{d \times h}