深度学习 神经网络中的前向传播和反向传播算法推导

                      

               

1. 神经网络

这是一个常见的神经网络的图：

这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，当我们输入x1,x2,x3等数据时，通过隐含层的计算、转换，输出你的期望，当你的输入和输出是一样的时候，成为自编码模型（Auto-Encoder）,而当你输入和输出是不一致的时候，也就是我们常说的人工神经网络。

2.  如何计算传播

首先我们先构建一个简单的网络层作为例子：

在这个网络层中有

• 第一层输入层：里面包含神经元i1,i2，截距：b1，权重：w1,w2,w3,w4
• 第二层是隐含层：里面包含h1,h2，截距：b2，权重：w5,w6,w7,w8
• 第三层是输出层：里面包含o1,o2

我们使用sigmoid作为激活函数

PS:如果你觉得这篇文章看起来稍微还有些吃力，或者想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击这里可以查看教程。

假定我们输入数据 i1: 0.02 i2: 0.04 截距 b1:0.4 b2:0.7 期望的输出数据 o1:0.5  o2:0.9

未知的是权重w1,w2,w3,w4,w5,w6,w7,w8

我们的目的 是为了能的到o1:0.5 o2:0.9的期望的值，计算出w1,w2,w3....w8的权重值

先假如构造一个权重w1,w2,w3.....w8的值，通过计算获取到最佳的w1,w2,w3....w8的权重

权重的初使值：

   
   
   

    

     
     
     

      
      
      

     
     
     
     
     
     

      
      
      

       
       
       w1=0.25
      
      
      
     
     
     
    

     
     
     

      
      
      

     
     
     
     
     
     

      
      
      

       
       
       w2=0.25
      
      
      
     
     
     
    

     
     
     

      
      
      

     
     
     
     
     
     

      
      
      

       
       
       w3=0.15
      
      
      
     
     
     
    

     
     
     

      
      
      

     
     
     
     
     
     

      
      
      

       
       
       w4=0.20