大家好我叫残差网络，是残差，是残差哦～～～

最新推荐文章于 2023-05-04 11:34:51 发布

阿猫的自拍

最新推荐文章于 2023-05-04 11:34:51 发布

阅读量370

点赞数

分类专栏：图像处理 CNN 深度学习

本文链接：https://blog.csdn.net/weixin_37721058/article/details/100609840

版权

深度学习同时被 3 个专栏收录

17 篇文章 0 订阅

订阅专栏

图像处理

9 篇文章 0 订阅

订阅专栏

CNN

7 篇文章 0 订阅

订阅专栏

需要掌握的点是：作用，具体操作，直接映射并相加

Resnet50的作用

这么简单的问题需要搞那么复杂么？

dy(x)/dx=F(x)=> y(x)=x+F(x)*dt，这不就是个微分方程的差分化么？所以ResNet就是个微分方程啊。至于说其收敛性好，就是通过这种操作使得网络的结构更均匀，整个映射就是由几乎完全一样的模块来构造，而且当F(x)=0的时候，相应的模块就相当于不存在，或者是当F(x)按照一定比例scaling的时候，等价于调整步长dx, 这种结构使得映射空间的曲率更平滑，基本是均匀的，并且可以或者通过跳过某些F(x)模块或者通过对F(x)的scaling来调整映射复杂度，达到模型复杂度和问题复杂度的更好的匹配，这一点在普通的CNN中是很难完成的。简单说，ResNet构造了一个平滑的解空间流形，在这个平滑的流形上更容易找到解。

其实这句话，我们也可以反思我们，梯度下降还是我们的机器学习里面的GBDT也是有残差的概念，其实我觉得大家都思想都是差不多的，那就是残差。所以为什么Resnet 叫做残差网络，的确是在弥补残差，或者是决定弥补多少残差。

ResNet / DenseNet 等一系列工作，本质上都是在调整网络结构以去适应优化器。

在这里插入图片描述

------ 重要的地方

1.总结让模型自己去决定网络的深度，梯度可以更好的向前传播
2.残差这两个字眼出发，为什么叫做残差网络而不是叫做其他的网络，是因为这个残差和我们的GBDT的很相似，也就是让额外的层来弥补这一层特征没有正确表达的地方。也就是上面提到了的微分方程离散化的问题。

— ResNet v1与ResNet v2的区别

def forward(self, x):
    residual = x

    out = self.conv1(x)
    out = self.bn1(out)
    out = self.relu(out)

    out = self.conv2(out)
    out = self.bn2(out)
    out = self.relu(out)

    out = self.conv3(out)
    out = self.bn3(out)

    if self.downsample is not None:
        residual = self.downsample(x)

    out += residual
    out = self.relu(out)

    return out

在这里插入图片描述