tensorflow实现神经网络——前向传播算法介绍

        前向传播算法简介:

  在介绍前向传播算法之前,我们先介绍一个较为简单的全连接的神经网络:


  说明:除了输入层(X1和X2)之外每一个节点(蓝色圆圈)代表一个神经元结构,这里称作节点,上面这个网络,就是一个最简单的全连接网络结构,什么是全连接网络呢??相信大家一眼就能看出,相邻层之间的任意两个节点之间都有相互连接,这样的网络就是全连接网络结构。X1和X2代表输入,W代表神经元的参数,这里称作权重,Y是最终的输出结果。我们从这个网络中提取出单个的节点结构如下图:

  上面这个就是一个最简单的神经元结构,之所以说它简单,是因为可以看到它的输出就是所有输入的加权和,不同的权重(W)就是神经元的参数。神经网络的优化过程就是优化神经元参数的取值的过程。

接下来进行前向传播的具体求解过程:

    我们假设X1和X2分别为0.3和0.4,W的取值在图中已经标出:

  a11=0.3x0.2+0.4x0.3=0.18,   a12=0.3x0.1+0.4x-0.5=0.01,   a13=0.3x0.4+0.4x0.2=0.20

进一步可以推算出输出层y的值:

y = 0.18x0.6+0.01x0.1+0.20x-0.2=0.069

   这就是整个的前向传播算法

--------------------------------------------------------------------------------------------------------------

前向传播算法可以转换为矩阵的乘法,将X1和X2组织成一个1X2的矩阵,x=[X1,X2]=[0.3,0.4],将W的值组成一个2X3的矩阵,这样就可以将上面的计算过程转换为矩阵相乘。大家可以模拟操作。





阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页