卷积神经网络反向传播理论推导

                       
               

    本文首先简单介绍CNN的结构,并不作详细介绍,本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导,还是有很多细节地方需要思考的,比如1、在前向传播的过程中,卷积层的输入,是通过卷积核与前一层的输出特征图卷积得来的,那么在反向传播的过程中该怎么处理?这个就与全连接神经网络不同了。2、由于在前向传播的时候,池化层会对前一层卷积层进行放缩,那么从池化层到卷积层BP的时候,小尺度的池化层怎么把误差反传到大尺度的卷积层(这里的大小是一般而言,卷积层一张特征图经池化之后尺度会变小)?这个就与全连接神经网络完全不同!3、公式推导中,或者某些库的函数实现过程中,卷积核为什么要翻转180度?ps.本文是根据汇报的PPT更改,里面有很多图和文字就直接截图了,里面的每一个公式都是我和F.Tao讨论和推导过的,如有错误欢迎指正。

如果你觉得这篇文章看起来稍微还有些吃力,或者想要更系统地学习人工智能,那么推荐你去看床长人工智能教程。非常棒的大神之作,我也被圈粉了。教程不仅通俗易懂,而且很风趣幽默。点击这里可以查看教程。

    还是先首先贴一张CNN结构图吧,下面这张图个人认为是结构很清晰的,每一层是什么,以及卷积层+池化层和全连接层在做什么工作都表达的很好,来源Google搜索。

    要明白卷积操作是用来干嘛的,是用来提取特征的,反向传播的意义又是什么?因为初始的时候卷积核的值都是随机设定的,我们可以根据前向传播的预测结果,进行误差分析,不断地修改卷积核的值,使得更好的提取特征,就是反向传播的意义。


    对卷积和池化操作直观的理解就如下图:

    对应的网络连接结构图如下所示:
    这里要说明两个概念,一个是卷积,一个是协相关,这两个概念是很多人都不清楚的,以至于把协相关当成了卷积来使用。


    那么卷积层对输入的卷积操作就变成了如下:

    下面一下CNN中的几个注意的点:

   可以从下图中找出对应的连接方式(注:下面的L包含了卷积和池化两个部分,但不妨碍理解):

    下面三张图截取自3D CNN,为了更加详细说明每一层是什么,每一层那个是特征图,那些是神经元。




前向传播:
    这里只说CNN前向传播不同于全连接前向传播的部分,即:输入层到卷积层和卷积层到池化层。

1、输入层到卷积层的前向传播
输入层到卷积层,采用的是局部连接,参数共享,卷积操作的方式,进行计算的,有个最好的说明就是cs231n笔记中的gif图,现展示如下:

    图中有两个卷积核,w0和w1,注:这两个卷积核是已经翻转过的,然后进行协相关操作。由于输入的是3个通道的图片,因此每个卷积核也必须是3个通道的。所谓局部连接、权值共享都在这幅图上体现的淋淋尽致,非常好的表达。
    现作理论推导:



2、卷积层到池化层的前向传播:

    前向传播比较简单,介绍就到这里,下面分析反向传播算法:
    CNN的反向传播其实与全连接神经网络的反向传播有很大不同,只是从最后的输出层到最后一个卷积层的池化层的误差计算方式是相同的,但是从池化层到卷积层,卷积层到输出层(or池化层)的误差传播方式与全连接网络是大不相同的。











参考:
                       
相关推荐
<p> 欢迎参加英特尔® OpenVINO™工具套件初级课程 !本课程面向零基础学员,将从AI的基本概念开始,介绍人工智能与视觉应用的相关知识,并且帮助您快速理解英特尔® OpenVINO™工具套件的基本概念以及应用场景。整个课程包含了视频的处理,深度学习的相关知识,人工智能应用的推理加速,以及英特尔® OpenVINO™工具套件的Demo演示。通过本课程的学习,将帮助您快速上手计算机视觉的基本知识和英特尔® OpenVINO™ 工具套件的相关概念。 </p> <p> 为保证您顺利收听课程参与测试获取证书,还请您于<strong>电脑端</strong>进行课程收听学习! </p> <p> 为了便于您更好的学习本次课程,推荐您免费<strong>下载英特尔® OpenVINO™工具套件</strong>,下载地址:https://t.csdnimg.cn/yOf5 </p> <p> 收听课程并完成章节测试,可获得本课程<strong>专属定制证书</strong>,还可参与<strong>福利抽奖</strong>,活动详情:https://bss.csdn.net/m/topic/intel_openvino </p> <p> 8月1日-9月30日,学习完成【初级课程】的小伙伴,可以<span style="color:#FF0000;"><strong>免费学习【中级课程】</strong></span>,中级课程免费学习优惠券将在学完初级课程后的7个工作日内发送至您的账户,您可以在:<a href="https://i.csdn.net/#/wallet/coupon">https://i.csdn.net/#/wallet/coupon</a>查询优惠券情况,请大家报名初级课程后尽快学习哦~ </p> <p> <span style="font-size:12px;">请注意:点击报名即表示您确认您已年满18周岁,并且同意CSDN基于商务需求收集并使用您的个人信息,用于注册OpenVINO™工具套件及其课程。CSDN和英特尔会为您定制最新的科学技术和行业信息,将通过邮件或者短信的形式推送给您,您也可以随时取消订阅不再从CSDN或Intel接收此类信息。 查看更多详细信息请点击CSDN“<a href="https://passport.csdn.net/service">用户服务协议</a>”,英特尔“<a href="https://www.intel.cn/content/www/cn/zh/privacy/intel-privacy-notice.html?_ga=2.83783126.1562103805.1560759984-1414337906.1552367839&elq_cid=1761146&erpm_id=7141654/privacy/us/en/">隐私声明</a>”和“<a href="https://www.intel.cn/content/www/cn/zh/legal/terms-of-use.html?_ga=2.84823001.1188745750.1560759986-1414337906.1552367839&elq_cid=1761146&erpm_id=7141654/privacy/us/en/">使用条款</a>”。</span> </p> <p> <br /> </p>
<p> <br /> </p> <p> <br /> </p> <p> <br /> </p> <p> <b><span style="background-color:#FFE500;">【超实用课程内容】</span></b> </p> <p> <span>本课程根据实际开发中总结出来的一些学习思路,从零开始详细讲解</span><span>Flutter</span><span>的基础知识点。从简到难,从浅入深,逐步带领大家了解</span><span>Flutter</span><span>,熟悉</span><span>Flutter</span><span>的组成部分,并且带领大家学习如何使用</span><span>Flutter</span><span>实现</span><span>UI</span><span>功能编写。通过对本视频的学习,你将会掌握</span><span>Flutter</span><span>常用组件和常用布局构建复杂布局、</span><span>Flutter</span><span>路由导航实现多页面构建和交互、</span><span>Flutetr</span><span>手势处理和动画实现动态交互效果,以及如何使用音视频、图片、文字、字体等资源。除此之外,你还可以收获每一章节遇到的重难点问题的解决方案。</span> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b><span style="background-color:#FFE500;">【课程如何观看?】</span></b> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> PC端:<a href="https://edu.csdn.net/course/detail/26277"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/27286"></a><a href="https://edu.csdn.net/course/detail/26858"></a><a href="https://edu.csdn.net/course/detail/26227">https://edu.csdn.net/course/detail/26227</a> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 移动端:CSDN 学院APP(注意不是CSDN APP哦) </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 本课程为录播课,课程永久有效观看时长,大家可以抓紧时间学习后一起讨论哦~ </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <strong><span style="background-color:#FFE500;">【学员专享增值服务】</span></strong> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b>源码开放</b> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 下载方式:电脑登录<a href="https://edu.csdn.net/course/detail/26277"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/27286"></a><a href="https://edu.csdn.net/course/detail/26858"></a><a href="https://edu.csdn.net/course/detail/26227">https://edu.csdn.net/course/detail/26227</a>,点击右下方课程资料、代码、课件等打包下载 </p> <p> <br /> </p>
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页