从CNN到ResNet的深入学习

于 2023-03-09 15:32:23 发布
阅读量209 收藏 2
点赞数
分类专栏： 论文笔记 联邦学习 零零碎碎 文章标签： cnn 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42303403/article/details/129423896
版权

CNN

课程来源：深度学习与计算机视觉

卷积

全连接层的网络输入是一个一维的

而卷积神经网络输入是一个三维的

输入层

对不同的区域提取出不同的特质，也就是每个小区域可以是一群像素点（像眼睛是聚焦一小块地方去识别特征）

这一个区域就是卷积核，得到的绿色矩阵就像一个特征图！

卷积层

7x7x3 的最后一个3 是RGB三通道。

多个Filter（卷积核）获取不同特征。

同一个卷积层的卷积核一定是要相同的

经过几次卷积

先用六个不同的卷积核得到六个特征图，再用十个不同的卷积核得到十个特征图

卷积核的第三个值（第三维度）一定是和前面输入的第三个值（第三维度）是一样的

滑动窗口步长：移动大小，对结果的影响就是得到的Output Volume

当步长小，慢慢提取特征，当步长大，大刀阔斧粗略提取特征

CV用CNN一般是单步长，但是NLP有可能用大步长

NLP用CNN，可以用（类似网络滑动窗口）进行用卷积（三个词三个词或者五个字五个字提取特征）

卷积核尺寸：上述已讲

边缘填充：因为有些点对最终输出结果贡献多，而越边缘的点对最终输出结果贡献少，所以边缘填充，使得原来的边缘不再是边缘，让边缘也对之后的结果产生更大的影响

卷积核个数：上述已讲

CNN参数相对于全连接层少很多！

池化层

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YKQBNppU-1678346660088)(file:///C:/Users/fangz/Pictures/Typedown/508db33e-7ca6-4bc1-b243-d74711ae10dc.png)]

池化层，做压缩，下采样的！

最大池化比平均池化好得多！

全连接层

最后一层FC：最后一个池化层的三维输出拉直成一个特征向量！[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fn7jvL85-1678346660089)(file:///C:/Users/fangz/Pictures/Typedown/0921a0e7-8aa3-428d-926c-a228b7cfa07e.png)]

总结

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9MnlV25n-1678346660092)(file:///C:/Users/fangz/Pictures/Typedown/5e27eef5-ffb8-4425-ac66-b7672c609d8a.png)]

经典CNN架构Alexnet

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CTcR2jZY-1678346660094)(file:///C:/Users/fangz/Pictures/Typedown/6c798c60-1d92-4646-bff9-7d3c49adb87c.png)]

VGG

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysU9Q9er-1678346660096)(file:///C:/Users/fangz/Pictures/Typedown/c56e9d57-4805-4983-927b-cea92f829941.png)]

所有卷积核都是3*3的，但是VGG训练时间比Alexnet长很多，以天为单位！

感受野

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eJgr1jkL-1678346660098)(file:///C:/Users/fangz/Pictures/Typedown/aac5a34a-89e2-409b-9b3f-94d8b294f16f.png)]

VGG就是全用 3 ∗ 3 3*3 3∗3 的！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LhjuC1Zz-1678346660100)(file:///C:/Users/fangz/Pictures/Typedown/4b7a912d-2986-4ff0-982f-4bd3e9a24854.png)]

ResNet

实验中发现一个事儿：当计算机性能越来越高，理论上层数越深，效果越好。但堆叠层数越深，居然会退化！但是深度学习应该是层数越深越好嘛。
在这里插入图片描述
我既要把层数堆叠起来，但是不能让那些影响我模型变差的层数去影响我最终结果。

选拔那些对结果有利影响的层数。同等映射！ 中间不好的层数直接跳过。

H ( x ) = F ( x ) + x H(x)=F(x)+x H(x)=F(x)+x 将 x x x 最终也直接拿下来，做一个保底，如果 F ( x ) F(x) F(x) 效果不好，那么Loss函数会将 F ( x ) F(x) F(x) 的影响优化到 0 0 0 直接同等映射！

重新盘活了深度学习！

Zh1N1an
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cnn输入层_CNN基础知识——全连接层（Fully Connected Layer）
weixin_39531992的博客
11-20 2591
之前的文章我们已经讲过什么是卷积、什么是池化、什么是激活函数，今天终于进入CNN的末尾了——全连接层（Fully Connected Layer）。我们已经占领了敌方高地，就差最后一下，坚持住，马上就victory了。全连接层就是将最后一层卷积得到的特征图（矩阵）展开成一维向量，并为分类器提供输入。最开始看到这个全连接层，我就很是疑问：它是怎么做的呢？举个列子：我们输入一个 的灰度图像，经过卷积...
全连接层输入维度懒人自动计算工具
weixin_45111613的博客
05-10 566
# 全连接层输入维度懒人自动计算工具Calculayor-for-Input-Dimension-of-Fully-connected-dence-layers 作为一个懒狗，炼丹的时候懒得去计算全连接层的输入维度怎么办呢 Obviously,It's user-friendly calculayor for Input Dimension of Fully-connected-dence-layers It can be used as follow: 1.You just need to in
CNN发展简史——ResNet（五）
散修炼丹师手记
04-30 5226
简介 深度残差网络是2015年提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。
卷积神经网络相关计算（卷积层+全连接层）
weixin_41880928的博客
05-12 5680
1，卷积层计算 假设输入图像为二维矩阵X，尺寸为mⅹn，卷积核数量为C，尺寸为cⅹc，经过卷积运算后得到的输出Y尺寸为((m-c)/s+1)×((n-c)/s+1)。（池化层输出尺寸计算同卷积层） 为了直观的展示卷积操作，图2.1表示输入尺寸为5ⅹ5的图像，卷积核尺寸为3ⅹ3，滑动卷积窗口步长为1，偏置为0的卷积过程。 二维图像的卷积运算简单的说就是对应相乘再相加，如图，11+20+31+60+71+80+111+120+131=35,其他依次类推。 接下来计算卷积层的参数量， 输入尺寸是32323，有
全连接层对于输入图像尺寸的限制问题
qq_52852138的博客
03-11 3520
前言 本文以CNNs 为例，说明含有全连接层的网络，为什么需要固定输入图像的大小 CNN 在处理图像级的分类任务时，CNNs是常用的模型。我们输入图像，网络会输出一个向量，该向量中每个位置的值，往往代表我们的输入图像属于对应的类的概率，概率最大的类就是分类的结果。 因为输出是一个向量，而我们的输入是图像，至少是二维的（因为包含位置信息）。因此，我们需要全连接层来消除位置信息，将其转换成一维向量。 我们知道CNNs网络的最后几层，往往是全连接层。我们对前面一些层的输出进行flatten操作（将矩阵展开成一维向
深度学习 pytorch从图像分类→神经网络学习深入→目标检测→语义分割,简易版本学习推荐
08-07
神经网络学习深入是深度学习中的一个重要环节，它涉及到神经网络的结构设计、参数调整等方面。PyTorch提供了灵活的网络构建接口，可以根据具体任务需求自定义网络结构。同时，PyTorch还提供了自动求导功能，可以自动...
使用机器学习进行图像识别
09-02
我们使用了一系列深度学习模型，包括卷积神经网络（CNN）和预训练的模型，如ResNet和YOLO，来进行图像分类和对象检测任务。通过广泛的实验和性能评估，我们探讨了不同模型在不同场景下的性能差异。 **1. 引言** 在...
深度学习与神经网络从原理到实践（基于TensorFlow2）
06-21
本课程知识覆盖全面，项目案例丰富，以项目为导向，通过动态图形展现推理过程，深入浅出，从原理到实践均能很快掌握。 课程编排如下： 神经网络原理（神经元，单层感知器，多层感知器）TensorFlow2.X基础（环境搭建...
深度学习模型在计算机视觉中的应用.doc
最新发布
10-08
深度学习模型在计算机视觉中的应用可以分为两个主要部分：卷积神经网络（CNN）和循环神经网络（RNN）。CNN 主要用于处理图像数据，通过卷积操作提取图像特征，而 RNN 则用于处理序列数据，捕捉到序列中的长期依赖...
用PyTorch在一个物体数据库上训练ResNet
08-22
最近几年，在处理语音、图像识别和语言处理等问题上，深度学习有着十分不错的表现。在所有类型神经网络中，卷积神经网络中研究最为深入的。在过去因为没有大数据与高性能的计算设备支撑，想要在不过拟合进行高性能...
resnet1d:一维（1D）信号时间序列数据上的多个SOTA骨干深度神经网络（例如ResNet，ResNeXt，RegNet）的PyTorch实现
05-25
介绍 一维（1D）信号/时间序列数据上的多个SOTA骨干深度神经网络（例如ResNet [1]，ResNeXt [2]，RegNet [3]）的PyTorch实现。 如果您在工作中使用此代码，请引用我们的论文 @inproceedings{hong2020holmes, title={HOLMES: Health OnLine Model Ensemble Serving for Deep Learning Models in Intensive Care Units}, author={Hong, Shenda and Xu, Yanbo and Khare, Alind and Priambada, Satria and Maher, Kevin and Aljiffry, Alaa and Sun, Jimeng and Tumanov, Alexey}, bookt
为什么全连接层输入需要固定尺度
tigerda的专栏
11-28 6767
SPPnet的提出就是为了解决全连接层的输入需要固定维度的问题。为什么全连接层的输入需要固定维度？     全连接层的计算其实相当于输入的特征图数据矩阵和全连接层权值矩阵进行内积，在配置一个网络时，全连接层的参数维度是固定的，所以两个矩阵要能够进行内积，则输入的特征图的数据矩阵维数也需要固定。
全连接层解析（一）
paranoid_CNN的博客
07-04 1万+
全连接层实现形式
CNN网络结构——池化层和全连接层
小白一直白
08-10 7988
目录池化层为什么引入池化层概述为什么采用最大值方法实现过程全连接层概述全连接转为卷积 池化层 为什么引入池化层 通常，卷积层的超参数设置为：输出特征图的空间尺寸等于输入特征图的空间尺寸。这样如果卷积网络里面只有卷积层，特征图空间尺寸就永远不变。虽然卷积层的超参数数量与特征图空间尺寸无关，但这样会带来一些缺点。 空间尺寸不变，卷积层的运算量会一直很大，非常消耗资源。 卷积网络结构最后是通过全连接层输出分值向量的，如果空间尺寸一直不变，则全连接层的权重数量会非常巨大，导致过拟合。 前面几层的卷积层的输出存
解释一下全连接层
热门推荐
念去去的博客
09-28 8万+
解释全连接层的意义与原理
卷积神经网络超级详细讲解
weixin_51015047的博客
02-02 1056
卷积神经网络CNN 学习总结归纳 这里写目录标题卷积神经网络CNN 学习总结归纳1.CNN的学习过程2.相关概念的详细解析3.卷积层，池化层，全连接层前言一、feature map、卷积核、卷积核个数、filter、channel的概念解释总结 1.CNN的学习过程 2.相关概念的详细解析 3.卷积层，池化层，全连接层 前言 CNN的学习过程：更新卷积核的值（更新提取的图像特征） 网络不断前后向的计算学习，一直在更新出合适的weights，也就是一直在更新卷积核们。卷积核在更新了，学习到的特征也就被更新了
解释--全连接层输入大小固定
qq_32256033的博客
03-25 668
一维Unet+Resnet实现
qq_36018024的博客
09-21 8653
网络结构Unet，实现一维信号dense prediction，如EEG情绪识别，受干扰信号修复，不同的任务需要设计不同的损失函数。 本文resnet的实现参考了pytorch官方resnet实现的源码，区别在于二维的size为3x3卷积替换成了一维的长度为5卷积。同时Unet的实现参考Hi_AI的实现。 该网络输入为 channels x length，输出为 1 x length，不过输出的通道数是可以改变的 import torch import torch.nn as nn def conv1d_5
卷积神经网络CNN：一维信号输入
shuaigezhou123的博客
08-30 4万+
        时光荏苒，转眼间已经过去两个月了，这段日子大概是我研究生生涯中最忙碌的一段时光，从一个python小白，深度学习小白，到现在感觉自己总算摸到了深度学习的门槛，心中还是有一些欣慰和感慨，可能对于很多人来说，我的进度并没有那么快，但对我来说，这是一个质变的两个月，感谢忙碌的自己，上进的自己，永不放弃的自己。         tensorflow对于新手来说确实不太友好，但既然选择了，...
cnn卷积神经网络学习
09-01
CNN（卷积神经网络）是一种广泛应用于图像识别和计算机视觉任务的深度学习模型。它的设计灵感来自于人类视觉系统的工作原理，并通过卷积层、池化层和全连接层等组件来有效地提取图像特征。 学习CNN可以包括以下几个方面： 1. 卷积层：了解卷积操作的基本原理，以及如何使用卷积核在图像上进行特征提取。学习卷积核的选择、步长、填充等参数对输出特征图的影响。 2. 池化层：了解池化操作的作用，如最大池化和平均池化，可以减少特征图的维度，并保留主要信息。 3. 激活函数：学习不同类型的激活函数，如ReLU、sigmoid和tanh，以及它们在CNN中的应用。 4. 全连接层：理解全连接层的作用，将前面的特征图映射到分类结果，并学习如何使用softmax函数进行多类别分类。 5. 损失函数和优化器：了解常用的损失函数，如交叉熵损失函数，并学习如何使用梯度下降等优化器来训练CNN模型。 6. 数据预处理：学习如何对输入图像进行预处理，如归一化、数据增强等，以提高模型的鲁棒性和泛化能力。 7. 模型结构和参数调整：了解CNN的不同模型结构，如LeNet、AlexNet、VGG、ResNet等，以及它们在不同任务上的应用。学习如何调整模型的超参数，如学习率、批量大小等。 8. 实践项目：通过实践中的项目来深入理解CNN的应用，例如图像分类、目标检测、语义分割等。 记住，要掌握CNN，需要理解其基本原理和常用技术，并通过实践来加深理解和提升技能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值