神经网络模型符号解释!!!蛮重要的,记不住的可以参考下。

神经网络模型符号解释!!!蛮重要的,记不住的可以参考下。

神经网络模型符号解释!!!蛮重要的,记不住的可以参考下。



神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:

Network331.png

我们使用圆圈来表示神经网络的输入,标上“\textstyle +1”的圆圈被称为偏置节点,也就是截距项。神经网络最左边的一层叫做输入层,最右的一层叫做输出层(本例中,输出层只有一个节点)。中间所有节点组成的一层叫做隐藏层,因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个输入单元(偏置单元不计在内),3个隐藏单元及一个输出单元


我们用
\textstyle {n}_l 来表示网络的层数,本例中\textstyle n_l=3 ,我们将第\textstyle l 层记为\textstyle L_l ,于是\textstyle L_1 是输入层,输出层是\textstyle L_{n_l} 。本例神经网络有参数\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)}),其中 \textstyle W^{(l)}_{ij} (下面的式子中用到)是第\textstyle l 层第\textstyle j 单元与第\textstyle l+1 层第\textstyle i 单元之间的联接参数(其实就是连接线上的权重,注意标号顺序),\textstyle b^{(l)}_i 是第\textstyle l+1 层第\textstyle i 单元的偏置项。因此在本例中,\textstyle W^{(1)} \in \Re^{3\times 3}\textstyle W^{(2)} \in \Re^{1\times 3} 。注意,没有其他单元连向偏置单元(即偏置单元没有输入),因为它们总是输出\textstyle +1。同时,我们用\textstyle s_l 表示第\textstyle l 层的节点数(偏置单元不计在内)。


我们用
\textstyle a^{(l)}_i 表示第\textstyle l 层第\textstyle i 单元的激活值(输出值)。当\textstyle l=1 时,\textstyle a^{(1)}_i = x_i ,也就是第\textstyle i 个输入值(输入值的第\textstyle i 个特征)。对于给定参数集合\textstyle W,b ,我们的神经网络就可以按照函数\textstyle h_{W,b}(x) 来计算输出结果。本例神经网络的计算步骤如下:


 \begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)})  \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)})  \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)})  \\h_{W,b}(x) &= a_1^{(3)} =  f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}


我们用
\textstyle z^{(l)}_i 表示第\textstyle l 层第\textstyle i单元输入加权和(包括偏置单元),比如, \textstyle  z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i ,则 \textstyle a^{(l)}_i = f(z^{(l)}_i)


这样我们就可以得到一种更简洁的表示法。这里我们将激活函数
\textstyle f(\cdot) 扩展为用向量(分量的形式)来表示,即\textstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)] ,那么,上面的等式可以更简洁地表示为:


\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}


我们将上面的计算步骤叫作
前向传播。回想一下,之前我们用\textstyle a^{(1)} = x 表示输入层的激活值,那么给定第\textstyle l 层的激活值\textstyle a^{(l)} 后,第\textstyle l+1 层的激活值\textstyle a^{(l+1)} 就可以按照下面步骤计算得到:


 \begin{align}z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)}   \\a^{(l+1)} &= f(z^{(l+1)})\end{align}


将参数矩阵化,使用矩阵-向量运算方式,我们就可以利用线性代数的优势对神经网络进行快速求解。



以上内容参考了AG的文献,加上个人的理解!希望可以帮助到大家~

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值