神经网络模型符号解释！！！蛮重要的，记不住的可以参考下。

最新推荐文章于 2024-04-13 21:24:09 发布

czhuaa

最新推荐文章于 2024-04-13 21:24:09 发布

阅读量5.7k

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/czhuaa/article/details/49493377

版权

深度学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

神经网络模型符号解释！！！蛮重要的，记不住的可以参考下。

神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用圆圈来表示神经网络的输入，标上“ $\textstyle +1$ ”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。

我们用 $\textstyle {n}_l$ 来表示网络的层数，本例中 $\textstyle n_l=3$ ，我们将第 $\textstyle l$ 层记为 $\textstyle L_l$ ，于是 $\textstyle L_1$ 是输入层，输出层是 $\textstyle L_{n_l}$ 。本例神经网络有参数 $\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})$ ，其中 $\textstyle W^{(l)}_{ij}$ （下面的式子中用到）是第 $\textstyle l$ 层第 $\textstyle j$ 单元与第 $\textstyle l+1$ 层第 $\textstyle i$ 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， $\textstyle b^{(l)}_i$ 是第 $\textstyle l+1$ 层第 $\textstyle i$ 单元的偏置项。因此在本例中， $\textstyle W^{(1)} \in \Re^{3\times 3}$ ， $\textstyle W^{(2)} \in \Re^{1\times 3}$ 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 $\textstyle +1$ 。同时，我们用 $\textstyle s_l$ 表示第 $\textstyle l$ 层的节点数（偏置单元不计在内）。

我们用 $\textstyle a^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元的激活值（输出值）。当 $\textstyle l=1$ 时， $\textstyle a^{(1)}_i = x_i$ ，也就是第 $\textstyle i$ 个输入值（输入值的第 $\textstyle i$ 个特征）。对于给定参数集合 $\textstyle W,b$ ，我们的神经网络就可以按照函数 $\textstyle h_{W,b}(x)$ 来计算输出结果。本例神经网络的计算步骤如下：

$\begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \\h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}$

我们用 $\textstyle z^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元输入加权和（包括偏置单元），比如， $\textstyle z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i$ ，则 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ 。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 $\textstyle f(\cdot)$ 扩展为用向量（分量的形式）来表示，即 $\textstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]$ ，那么，上面的等式可以更简洁地表示为：

$\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}$

我们将上面的计算步骤叫作前向传播。回想一下，之前我们用 $\textstyle a^{(1)} = x$ 表示输入层的激活值，那么给定第 $\textstyle l$ 层的激活值 $\textstyle a^{(l)}$ 后，第 $\textstyle l+1$ 层的激活值 $\textstyle a^{(l+1)}$ 就可以按照下面步骤计算得到：