深度学习笔记2——神经网络的前向处理

神经网络的前向处理

神经网络的前向处理，即实现从输入信号到输出信号的（前向）处理过程

矩阵乘法

矩阵( matrix ): 矩阵是一个二维数组，其中的每一个元素被两个索引(而非一个)所确定。
$$\left[\begin{array}{cc}{A}_{1,1}& A_{1,2}\\ & \\ A_{2,1}& A_{2,2}\end{array}\right].$$
矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵$A$和$B$的矩阵乘积是第三个矩阵$C$。其中，矩阵$A$的列数必须和矩阵$B$的行数相等。如果矩阵$A$的形状是$m\times n$,矩阵$B$的形状是$n\times p$,那么矩阵$C$的形状是$m\times p$。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，例如
$$C=AB.$$
具体地，该乘法操作定义为
$$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}.$$

神经网络的内积

如图所示，对于权重符号$w_{1,2}^{(1)}$中，上标表示权重的层号，下标表示前一层第二个神经元与下一层第一个神经元之间的权重

上图是一个三层神经网络的模型，神经元间的信号传递通过上一层神经元的输入值与对应权重相乘实现，表达式为
$$a_1^{(1)}=w_{11}^{(1)}{x}_1+w_{12}^{(1)}{x}_2+b_1^{(1)}$$
同理
$$a_2^{(1)}=w_{21}^{(1)}{x}_1+w_{22}^{(1)}{x}_2+b_2^{(1)}$$
$$a_3^{(1)}=w_{31}^{(1)}{x}_1+w_{32}^{(1)}{x}_2+b_3^{(1)}$$
将上述方程组改写为矩阵形式
令$$A=\left[\begin{array}{ccc}{a}_1^{(1)}& a_2^{(1)}& a_3^{(1)}\end{array}\right]$$

$$W=\left[\begin{array}{ccc}{w}_{11}^{(1)}& w_{21}^{(1)}& w_{31}^{(1)}\\ w_{12}^{(1)}& w_{22}^{(1)}& w_{32}^{(1)}\end{array}\right]$$

$$X=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]$$

$$B=\left[\begin{array}{ccc}{b}_1& b_2& b_3\end{array}\right]$$

根据矩阵乘法法则可以得知
$$A=XW+B$$

信号传递流程

信号在神经元间经过权重和偏置的加权运算后，作为下一层神经元的输入信号，经过激活函数的计算后作为最终到达下一层神经元的信号值，继续进行上述操作直至到达输出层经过Softmax函数输出（或者直接输出）。