从CNN到ResNet的深入学习

于 2023-03-09 15:32:23 发布
阅读量213 收藏 2
点赞数
分类专栏： 论文笔记 联邦学习 零零碎碎 文章标签： cnn 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42303403/article/details/129423896
版权

CNN

课程来源：深度学习与计算机视觉

卷积

全连接层的网络输入是一个一维的

而卷积神经网络输入是一个三维的

输入层

对不同的区域提取出不同的特质，也就是每个小区域可以是一群像素点（像眼睛是聚焦一小块地方去识别特征）

这一个区域就是卷积核，得到的绿色矩阵就像一个特征图！

卷积层

7x7x3 的最后一个3 是RGB三通道。

多个Filter（卷积核）获取不同特征。

同一个卷积层的卷积核一定是要相同的

经过几次卷积

先用六个不同的卷积核得到六个特征图，再用十个不同的卷积核得到十个特征图

卷积核的第三个值（第三维度）一定是和前面输入的第三个值（第三维度）是一样的

滑动窗口步长：移动大小，对结果的影响就是得到的Output Volume

当步长小，慢慢提取特征，当步长大，大刀阔斧粗略提取特征

CV用CNN一般是单步长，但是NLP有可能用大步长

NLP用CNN，可以用（类似网络滑动窗口）进行用卷积（三个词三个词或者五个字五个字提取特征）

卷积核尺寸：上述已讲

边缘填充：因为有些点对最终输出结果贡献多，而越边缘的点对最终输出结果贡献少，所以边缘填充，使得原来的边缘不再是边缘，让边缘也对之后的结果产生更大的影响

卷积核个数：上述已讲

CNN参数相对于全连接层少很多！

池化层

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YKQBNppU-1678346660088)(file:///C:/Users/fangz/Pictures/Typedown/508db33e-7ca6-4bc1-b243-d74711ae10dc.png)]

池化层，做压缩，下采样的！

最大池化比平均池化好得多！

全连接层

最后一层FC：最后一个池化层的三维输出拉直成一个特征向量！[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fn7jvL85-1678346660089)(file:///C:/Users/fangz/Pictures/Typedown/0921a0e7-8aa3-428d-926c-a228b7cfa07e.png)]

总结

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9MnlV25n-1678346660092)(file:///C:/Users/fangz/Pictures/Typedown/5e27eef5-ffb8-4425-ac66-b7672c609d8a.png)]

经典CNN架构Alexnet

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CTcR2jZY-1678346660094)(file:///C:/Users/fangz/Pictures/Typedown/6c798c60-1d92-4646-bff9-7d3c49adb87c.png)]

VGG

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysU9Q9er-1678346660096)(file:///C:/Users/fangz/Pictures/Typedown/c56e9d57-4805-4983-927b-cea92f829941.png)]

所有卷积核都是3*3的，但是VGG训练时间比Alexnet长很多，以天为单位！

感受野

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eJgr1jkL-1678346660098)(file:///C:/Users/fangz/Pictures/Typedown/aac5a34a-89e2-409b-9b3f-94d8b294f16f.png)]

VGG就是全用 3 ∗ 3 3*3 3∗3 的！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LhjuC1Zz-1678346660100)(file:///C:/Users/fangz/Pictures/Typedown/4b7a912d-2986-4ff0-982f-4bd3e9a24854.png)]

ResNet

实验中发现一个事儿：当计算机性能越来越高，理论上层数越深，效果越好。但堆叠层数越深，居然会退化！但是深度学习应该是层数越深越好嘛。
在这里插入图片描述
我既要把层数堆叠起来，但是不能让那些影响我模型变差的层数去影响我最终结果。

选拔那些对结果有利影响的层数。同等映射！ 中间不好的层数直接跳过。

H ( x ) = F ( x ) + x H(x)=F(x)+x H(x)=F(x)+x 将 x x x 最终也直接拿下来，做一个保底，如果 F ( x ) F(x) F(x) 效果不好，那么Loss函数会将 F ( x ) F(x) F(x) 的影响优化到 0 0 0 直接同等映射！

重新盘活了深度学习！

Zh1N1an
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cnn输入层_CNN基础知识——全连接层（Fully Connected Layer）
weixin_39531992的博客
11-20 2616
之前的文章我们已经讲过什么是卷积、什么是池化、什么是激活函数，今天终于进入CNN的末尾了——全连接层（Fully Connected Layer）。我们已经占领了敌方高地，就差最后一下，坚持住，马上就victory了。全连接层就是将最后一层卷积得到的特征图（矩阵）展开成一维向量，并为分类器提供输入。最开始看到这个全连接层，我就很是疑问：它是怎么做的呢？举个列子：我们输入一个 的灰度图像，经过卷积...
全连接层输入维度懒人自动计算工具
weixin_45111613的博客
05-10 570
# 全连接层输入维度懒人自动计算工具Calculayor-for-Input-Dimension-of-Fully-connected-dence-layers 作为一个懒狗，炼丹的时候懒得去计算全连接层的输入维度怎么办呢 Obviously,It's user-friendly calculayor for Input Dimension of Fully-connected-dence-layers It can be used as follow: 1.You just need to in
CNN发展简史——ResNet（五）
散修炼丹师手记
04-30 5299
简介 深度残差网络是2015年提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。
卷积神经网络相关计算（卷积层+全连接层）
weixin_41880928的博客
05-12 5755
1，卷积层计算 假设输入图像为二维矩阵X，尺寸为mⅹn，卷积核数量为C，尺寸为cⅹc，经过卷积运算后得到的输出Y尺寸为((m-c)/s+1)×((n-c)/s+1)。（池化层输出尺寸计算同卷积层） 为了直观的展示卷积操作，图2.1表示输入尺寸为5ⅹ5的图像，卷积核尺寸为3ⅹ3，滑动卷积窗口步长为1，偏置为0的卷积过程。 二维图像的卷积运算简单的说就是对应相乘再相加，如图，11+20+31+60+71+80+111+120+131=35,其他依次类推。 接下来计算卷积层的参数量， 输入尺寸是32323，有
全连接层对于输入图像尺寸的限制问题
qq_52852138的博客
03-11 3570
前言 本文以CNNs 为例，说明含有全连接层的网络，为什么需要固定输入图像的大小 CNN 在处理图像级的分类任务时，CNNs是常用的模型。我们输入图像，网络会输出一个向量，该向量中每个位置的值，往往代表我们的输入图像属于对应的类的概率，概率最大的类就是分类的结果。 因为输出是一个向量，而我们的输入是图像，至少是二维的（因为包含位置信息）。因此，我们需要全连接层来消除位置信息，将其转换成一维向量。 我们知道CNNs网络的最后几层，往往是全连接层。我们对前面一些层的输出进行flatten操作（将矩阵展开成一维向
基于CNN和ResNET 深度学习_垃圾分类实战.zip
02-19
在本项目实践中，我们探索了如何利用卷积神经网络（CNN）和ResNet架构进行垃圾分类。...通过阅读和理解这些文件，我们可以深入学习和掌握CNN与ResNet在垃圾分类中的应用，进一步提升自己的深度学习技能。
简易CNN和ResNet搭建,resnet是cnn吗,Python
09-10
通过本项目，你可以了解到如何从零开始搭建CNN和ResNet模型，理解它们的工作原理，以及如何在Python环境中进行训练和验证。这对于深度学习初学者和进阶者来说都是非常宝贵的经验。在实际应用中，可以根据具体任务...
RadioML2016.10.a MLP CNN ResNet Code
最新发布
06-19
通过深入研究这个项目，不仅可以学习到MLP、CNN和ResNet的原理，还可以了解到如何将它们应用于实际问题中，以及如何优化模型性能。对于想要提升深度学习技能的开发者来说，这是一个宝贵的资源。
为什么全连接层输入需要固定尺度
tigerda的专栏
11-28 6777
SPPnet的提出就是为了解决全连接层的输入需要固定维度的问题。为什么全连接层的输入需要固定维度？     全连接层的计算其实相当于输入的特征图数据矩阵和全连接层权值矩阵进行内积，在配置一个网络时，全连接层的参数维度是固定的，所以两个矩阵要能够进行内积，则输入的特征图的数据矩阵维数也需要固定。
resnet1d:一维（1D）信号时间序列数据上的多个SOTA骨干深度神经网络（例如ResNet，ResNeXt，RegNet）的PyTorch实现
05-25
介绍 一维（1D）信号/时间序列数据上的多个SOTA骨干深度神经网络（例如ResNet [1]，ResNeXt [2]，RegNet [3]）的PyTorch实现。 如果您在工作中使用此代码，请引用我们的论文 @inproceedings{hong2020holmes, title={HOLMES: Health OnLine Model Ensemble Serving for Deep Learning Models in Intensive Care Units}, author={Hong, Shenda and Xu, Yanbo and Khare, Alind and Priambada, Satria and Maher, Kevin and Aljiffry, Alaa and Sun, Jimeng and Tumanov, Alexey}, bookt
全连接层解析（一）
paranoid_CNN的博客
07-04 1万+
全连接层实现形式
CNN网络结构——池化层和全连接层
小白一直白
08-10 8086
目录池化层为什么引入池化层概述为什么采用最大值方法实现过程全连接层概述全连接转为卷积 池化层 为什么引入池化层 通常，卷积层的超参数设置为：输出特征图的空间尺寸等于输入特征图的空间尺寸。这样如果卷积网络里面只有卷积层，特征图空间尺寸就永远不变。虽然卷积层的超参数数量与特征图空间尺寸无关，但这样会带来一些缺点。 空间尺寸不变，卷积层的运算量会一直很大，非常消耗资源。 卷积网络结构最后是通过全连接层输出分值向量的，如果空间尺寸一直不变，则全连接层的权重数量会非常巨大，导致过拟合。 前面几层的卷积层的输出存
解释一下全连接层
热门推荐
念去去的博客
09-28 8万+
解释全连接层的意义与原理
卷积神经网络超级详细讲解
weixin_51015047的博客
02-02 1077
卷积神经网络CNN 学习总结归纳 这里写目录标题卷积神经网络CNN 学习总结归纳1.CNN的学习过程2.相关概念的详细解析3.卷积层，池化层，全连接层前言一、feature map、卷积核、卷积核个数、filter、channel的概念解释总结 1.CNN的学习过程 2.相关概念的详细解析 3.卷积层，池化层，全连接层 前言 CNN的学习过程：更新卷积核的值（更新提取的图像特征） 网络不断前后向的计算学习，一直在更新出合适的weights，也就是一直在更新卷积核们。卷积核在更新了，学习到的特征也就被更新了
解释--全连接层输入大小固定
qq_32256033的博客
03-25 671
一维Unet+Resnet实现
qq_36018024的博客
09-21 8760
网络结构Unet，实现一维信号dense prediction，如EEG情绪识别，受干扰信号修复，不同的任务需要设计不同的损失函数。 本文resnet的实现参考了pytorch官方resnet实现的源码，区别在于二维的size为3x3卷积替换成了一维的长度为5卷积。同时Unet的实现参考Hi_AI的实现。 该网络输入为 channels x length，输出为 1 x length，不过输出的通道数是可以改变的 import torch import torch.nn as nn def conv1d_5
卷积神经网络CNN：一维信号输入
shuaigezhou123的博客
08-30 4万+
        时光荏苒，转眼间已经过去两个月了，这段日子大概是我研究生生涯中最忙碌的一段时光，从一个python小白，深度学习小白，到现在感觉自己总算摸到了深度学习的门槛，心中还是有一些欣慰和感慨，可能对于很多人来说，我的进度并没有那么快，但对我来说，这是一个质变的两个月，感谢忙碌的自己，上进的自己，永不放弃的自己。         tensorflow对于新手来说确实不太友好，但既然选择了，...
全连接层通俗讲解
weixin_42713739的博客
11-14 2万+
概念 什么是全连接层（fully connected layers，FC) ? 全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷...
超全!深度学习在计算机视觉领域的应用一览.docx
12-20
"这篇文档详细介绍了深度学习在计算机视觉领域的广泛应用，从2006年Geoffrey Hinton的开创性工作到2021年的各种模型发展，如AlexNet、VGGNet、GoogleNet、ResNet等。文档强调了深度学习如何克服传统机器学习方法在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值