关闭

反向传播BP算法

317人阅读 评论(0) 收藏 举报
分类:

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。


一. 网络结构

 经典的BP网络,其具体结构如下:

   

 请特别注意上面这个图的一些符号说明如下:




二.  学习算法


     1. 信号的前向传递过程
          
              请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。

   2.   误差反向传导过程
         
         
 












三.  小结

     
           信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
      



0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

深度学习基础:反向传播即BP算法的推导过程

BP算法简单的来说就是根据神经网络实际的输出和目标输出(也就是输入样本对应的标记)之间的误差计算神经网络各个权值的过程。 采用BP算法从输出层、经过隐层再到输入层进行层层计算的原因是如果直接计算误差函...
  • nxcxl88
  • nxcxl88
  • 2016-08-23 23:04
  • 2393

反向传播BP 算法之一种直观的解释

0. 前言 之前上模式识别课程的时候,老师也讲过 MLP 的 BP 算法, 但是 ppt 过得太快,只有一个大概印象。后来课下自己也尝试看了一下 stanford deep learning 的...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-03-30 12:36
  • 3021

神经网络的反向传播BP算法

简介 神经网络中经典的感知器模型,请参考我写的这篇博客[ http://blog.csdn.net/ws_20100/article/details/48929383] 本篇博客是在感知器模型之后...
  • ws_20100
  • ws_20100
  • 2015-10-08 22:45
  • 5810

Stanford UFLDL教程 反向传播算法(BP算法)

反向传播算法(BP算法) 假设我们有一个固定样本集 ,它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲,对于单个样例,其代价函数为: 这是一个(二分之一的)方差代价函数。给...
  • GarfieldEr007
  • GarfieldEr007
  • 2015-07-01 21:30
  • 2835

反向传播BP算法

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。 第一篇,从最经典的BP网络开始。我不打算...
  • celerychen2009
  • celerychen2009
  • 2013-05-23 13:08
  • 16766

BP 神经网络 反向传播算法

经典的BP网络,其具体结构如下:        请特别注意上面这个图的一些符号说明如下: 二.  学习算法      1. 信号的前向传递过程   ...
  • shenxiaoming77
  • shenxiaoming77
  • 2015-12-24 10:30
  • 1576

人工神经网络——【BP】反向传播算法证明

第一步:前向传播 简单的三层网络结构如下 参数定义,可见层定义为X,共有n个单元,下标用 k 表示     隐藏层定义为B,共有p个单元,下标用 j 表示     输出层定义为Y,共有q个单元,下...
  • zb1165048017
  • zb1165048017
  • 2016-05-29 12:51
  • 3205

CNNs学习笔记(4):反向传播BP算法

本文的论文来自: Notes on Convolutional Neural Networks, Jake Bouvrie。          这个主要是CNN的推导和实现的一些笔记,...
  • u011534057
  • u011534057
  • 2016-04-22 22:35
  • 1827

Matlab之BP神经网络反向传播算法

(1)BP算法    Matlab中集成有BP算法工具箱,而且性能稳定,比较实用。这里不采用matlab自带工具箱,而是通过编写反向传播算法直接来实现,旨在能更好的从理论上来理解BP神经网络算法以及...
  • on2way
  • on2way
  • 2014-10-24 17:19
  • 6089

神经网络训练中的Tricks之高效BP(反向传播算法)

神经网络训练中的Tricks之高效BP(反向传播算法)zouxy09@qq.comhttp://blog.csdn.net/zouxy09        Tricks!这是一个让人听了充满神秘和好奇的...
  • zouxy09
  • zouxy09
  • 2015-04-26 14:36
  • 52434
    个人资料
    • 访问:120981次
    • 积分:1828
    • 等级:
    • 排名:千里之外
    • 原创:55篇
    • 转载:49篇
    • 译文:0篇
    • 评论:22条
    最新评论