关闭

反向传播BP算法

263人阅读 评论(0) 收藏 举报
分类:

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。


一. 网络结构

 经典的BP网络,其具体结构如下:

   

 请特别注意上面这个图的一些符号说明如下:




二.  学习算法


     1. 信号的前向传递过程
          
              请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。

   2.   误差反向传导过程
         
         
 












三.  小结

     
           信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
      



0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:83704次
    • 积分:1404
    • 等级:
    • 排名:千里之外
    • 原创:50篇
    • 转载:49篇
    • 译文:0篇
    • 评论:6条
    最新评论