对残差网络resnet shortcut的解释

贝猫说python

已于 2022-10-19 14:18:34 修改

阅读量1.3k

点赞数

文章标签：网络 p2p 网络协议

于 2022-10-19 14:15:05 首次发布

原文链接：https://blog.csdn.net/txpp520/article/details/116334638

版权

重读残差网络——resnet(对百度vd模型解读)

往事如yan

已于 2022-02-25 07:53:37 修改

652

分类专栏： AI基础深度学习概念文章标签：网络 cnn p2p

于 2021-05-02 00:03:04 首次发布

本文链接： https://blog.csdn.net/txpp520/article/details/116334638

版权

    <div id="blogColumnPayAdvert">
        <div class="column-group open">
            <div class="column-group-item column-group0 ">
                <div class="item-l">
                    <a class="item-target" href="https://blog.csdn.net/txpp520/category_9874488.html" target="_blank" title="AI基础" data-report-click="{&quot;spm&quot;:&quot;1001.2101.3001.6332&quot;}">
                        <img class="item-target" src="https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64" alt="">
                        <span class="title item-target">
                            <span>
                            <span class="tit">AI基础</span>
                                <span class="dec more" style="display: none;">同时被 2 个专栏收录<img src="https://csdnimg.cn/release/blogv2/dist/pc/img/newArrowDown1White.png" alt=""></span>
                            </span>
                        </span>
                    </a>
                </div>
                <div class="item-m">
                    <span>56 篇文章</span>
                    <span>2 订阅</span>
                </div>
                <div class="item-r">
                        <a class="item-target article-column-bt articleColumnFreeBt" data-id="9874488">订阅专栏</a>
                </div>
            </div>
            <div class="column-group-item column-group1 ">
                <div class="item-l">
                    <a class="item-target" href="https://blog.csdn.net/txpp520/category_9798004.html" target="_blank" title="深度学习概念" data-report-click="{&quot;spm&quot;:&quot;1001.2101.3001.6332&quot;}">
                        <img class="item-target" src="https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64" alt="">
                        <span class="title item-target">
                            <span>
                            <span class="tit">深度学习概念</span>
                            </span>
                        </span>
                    </a>
                </div>
                <div class="item-m">
                    <span>27 篇文章</span>
                    <span>6 订阅</span>
                </div>
                <div class="item-r">
                        <a class="item-target article-column-bt articleColumnFreeBt" data-id="9798004">订阅专栏</a>
                </div>
            </div>
        </div>
    </div>
<article class="baidu_pl">
    <div id="article_content" class="article_content clearfix">
    <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-6e43165c0a.css">
            <div id="content_views" class="htmledit_views">
                <p>&nbsp; <a href="https://so.csdn.net/so/search?q=resnet&amp;spm=1001.2101.3001.7020" target="_blank" class="hl hl-1" data-report-click="{&quot;spm&quot;:&quot;1001.2101.3001.7020&quot;,&quot;dest&quot;:&quot;https://so.csdn.net/so/search?q=resnet&amp;spm=1001.2101.3001.7020&quot;,&quot;extra&quot;:&quot;{\&quot;searchword\&quot;:\&quot;resnet\&quot;}&quot;}" data-tit="resnet" data-pretit="resnet">resnet</a> 解决了随着CNN网络深度的加深，网络性能退化的一个问题。</p>

具体解释见（11：20）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili 一分钟带你认识残差模块

对百度vd模型解读（14：40）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili

很好的解释：深度学习经典网络（4）ResNet深度残差网络结构详解_青衫憶笙-CSDN博客_resnet网络结构

论文翻译中文版

Resnet v2 结构有人用吗？效果如何？ - 知乎

2. 怎么解决退化问题？

2.1.直观理解

深度残差网络。如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。

（二十七）通俗易懂理解——Resnet残差网络 - 知乎