深度学习培训二笔记

1.BP神经原理

BP神经网络主要由三部分组成,分别是前向传播,反向传播,测试模型。其中前向传播主要是计算模型当前的预测结果,反向传播是对模型进行修正得到能达到预测效果的模型,测试模型是看我们最后通过反向传播得到的模型能否识别出我们想要的分类。

BP算法的核心思想是:学习过程由信号的正向传播和误差的反向传播两个过程组成。

正向传播:输入层的神经元负责接受外界发来的各种信息,并将信息传递给中间层神经元,中间隐含层神经元负责将接收到的信息进行处理变换,根据需求处理信息,实际应用中可将中间隐含层设置为一层或者多层隐含层结构,并通过最后一层的隐含层将信息传递到输出层,这个过程就是BP神经网络的正向传播过程。
反向传播:当实际输出与理想输出之间的误差超过期望时,就需要进入误差的反向传播过程。它首先从输出层开始,误差按照梯度下降的方法对各层权值进行修正,并依次向隐含层、输入层传播。通过不断的信息正向传播和误差反向传播,各层权值会不断进行调整,这就是神经网络的学习训练。当输出的误差减小到期望程度或者预先设定的学习迭代次数时,训练结束,BP神经网络完成学习。

                             三层结构

输入层:i1    i2,隐藏层:两个神经元  h1   h2,输出层:o1    o2

956f44d84edc43d3a7e472cf9d248cda.jpg

加权求和

fb03d88ec98c4021aa304d475bc6261c.jpg


2.BP神经网络的推导

隐藏层神经元的设置方法:

如果BP神经网络中输入层节点数为m个,输出层节点是为n个,则由下式可推出隐藏层节点数为s个。其中b一 般为1-9 的整数。gif.latex?s%3D%5Csqrt%7Bm+n%7D+b

d5c930d7ea604e67a4ae9c7aac285d1e.png

7839fe26588244409cee8c2054c70a83.png

 反向计算总误差:

gif.latex?Etotal%3D%5Csum%20%5Cfrac%7B1%7D%7B2%7D%5Cleft%20%28%20target-output%20%5Cright%20%29%5E%7B2%7D

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值