tensorflow实现神经网络——前向传播算法介绍

标签: 前向传播算法
2人阅读 评论(0) 收藏 举报

        前向传播算法简介:

  在介绍前向传播算法之前,我们先介绍一个较为简单的全连接的神经网络:


  说明:除了输入层(X1和X2)之外每一个节点(蓝色圆圈)代表一个神经元结构,这里称作节点,上面这个网络,就是一个最简单的全连接网络结构,什么是全连接网络呢??相信大家一眼就能看出,相邻层之间的任意两个节点之间都有相互连接,这样的网络就是全连接网络结构。X1和X2代表输入,W代表神经元的参数,这里称作权重,Y是最终的输出结果。我们从这个网络中提取出单个的节点结构如下图:

  上面这个就是一个最简单的神经元结构,之所以说它简单,是因为可以看到它的输出就是所有输入的加权和,不同的权重(W)就是神经元的参数。神经网络的优化过程就是优化神经元参数的取值的过程。

接下来进行前向传播的具体求解过程:

    我们假设X1和X2分别为0.3和0.4,W的取值在图中已经标出:

  a11=0.3x0.2+0.4x0.3=0.18,   a12=0.3x0.1+0.4x-0.5=0.01,   a13=0.3x0.4+0.4x0.2=0.20

进一步可以推算出输出层y的值:

y = 0.18x0.6+0.01x0.1+0.20x-0.2=0.069

   这就是整个的前向传播算法

--------------------------------------------------------------------------------------------------------------

前向传播算法可以转换为矩阵的乘法,将X1和X2组织成一个1X2的矩阵,x=[X1,X2]=[0.3,0.4],将W的值组成一个2X3的矩阵,这样就可以将上面的计算过程转换为矩阵相乘。大家可以模拟操作。





查看评论

表格排序技巧

表格排序的方法function Table (tBody, tHead) { this.tBody = tBody; this.tHead = tHead.constructor == A...
  • net_lover
  • net_lover
  • 2001-07-04 16:27:00
  • 2646

Tensorflow中前向传播算法

神经网络的前向传播算法主要构成部分:       1.神经网络的输入;       2.神经网络的连接结构;       3.每个神经元中的参数。 ...
  • zSean
  • zSean
  • 2017-07-15 16:58:56
  • 671

1个TensorFlow样例,终于明白如何实现前向传播过程?

神经网络的结构,就是不同神经元间的连接结构 –图示了一个三层全连接神经网络。 神经元结构的输出,是所有输入的加权、加上偏置项,再经过一个激活(传递)函数得到。 全连接神经网络...
  • shenmanli
  • shenmanli
  • 2017-08-28 10:39:09
  • 127

前向传播算法

一个神经元有多个输入和一个输出,每个神经元的输入既可以是其他神经元的输出也可以是整个神经网络的输入。所谓神经网络的结构就是指的是不同的神经元之间的连接结构。 如图所示,一个最简单的神经元结构的输出就...
  • weixin_38195506
  • weixin_38195506
  • 2017-07-10 20:01:59
  • 438

神经网络中的前向和后向算法

最近深度学习的研究在学界火的一塌糊涂,大老板终于也下定决心组织实验室开展相关研究了,何况实验室的主流方向是做成像的,不做点这方面的研究感觉说不过去。研究生小朋友们刚进来还得看视觉方面的东西,博三博四的...
  • cc514981717
  • cc514981717
  • 2017-06-28 11:00:53
  • 2267

深度学习:神经网络中的前向传播和反向传播算法推导

1. 神经网络这是一个常见的神经网络的图:这是一个常见的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层...
  • raintungli
  • raintungli
  • 2017-08-08 16:53:27
  • 22723

C++从零实现深度神经网络之二——前向传播和反向传播

本文由@星沉阁冰不语出品,转载请注明作者和出处。文章链接:http://blog.csdn.net/xingchenbingbuyu/article/details/53674544微博:http:/...
  • xingchenbingbuyu
  • xingchenbingbuyu
  • 2016-12-15 23:55:08
  • 5070

神经网络中前向传播和反向传播解析

虽然学深度学习有一段时间了,但是对于一些算法的具体实现还是模糊不清,用了很久也不是很了解,最近在看去年LeCun和Hinton在Nature上发表的deep learning的review,有两张图分...
  • lhanchao
  • lhanchao
  • 2016-05-15 21:22:27
  • 12591

卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析

最近在学习卷积神经网络,哎,真的是一头雾水!最后决定从阅读CNN程序下手! 程序来源于GitHub的DeepLearnToolbox 由于确实缺乏理论基础,所以,先从程序的数据流入手,虽然对高手来...
  • tina_ttl
  • tina_ttl
  • 2016-04-01 10:30:38
  • 1543

神经网络(前向传播和反向传导)

谓神经网络就是将许多个单一“神经元”(图1)联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入,如图2所示。...
  • dcxhun3
  • dcxhun3
  • 2015-07-08 14:57:12
  • 2310
    个人资料
    等级:
    访问量: 0
    积分: 98
    排名: 0
    文章分类
    文章存档