Resnet代码实现+为什么使用全局平均池化​​​​​​​

最新推荐文章于 2024-08-05 20:10:37 发布
最新推荐文章于 2024-08-05 20:10:37 发布
阅读量5k 收藏 20
点赞数 3
分类专栏： 姿态估计逐步 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37644085/article/details/89209137
版权

1.ResNet直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。

GAP的真正意义是:对整个网路在结构上做正则化防止过拟合。但是值得我们注意的是，使用gap可能会造成收敛速度减慢。用一个GAP将N个feature map降维成1*N大小的feature map,再用class个1*1卷积核将1*N的feature map卷成1*class的向量。

①摘取重点于：为什么使用全局平均池化。

在卷积神经网络的初期，卷积层通过池化层（一般是MaxPooling）后总是要一个或n个全连接层，全连接网络可以使feature map的维度减少，进而输入到softmax分类。其特征就是全连接层的参数超多，模型本身非常臃肿，又会造成过拟合。（现在已经很少大量使用fc层），用pooling来代替全连接。就解决了之前的问题：要不要在fc层使用dropout。使用AVP就不要了。

（作者自己思考的部分，不知对错）全局平均池化层代替全连接层虽然有好处，但是不利于迁移学习。因为参数较为“固化”在卷积的诸层网络中。增加新的分类，那就意味着相当数量的卷积特征要做调整。而全连接层模型则可以更好的迁移学习，因为它的参数很大一部分调整在全连接层，迁移的时候卷积层可能也会调整，但是相对来讲要小的多了。

再对比：论文R-FCN(全卷积+位置敏感型“S

最低0.47元/天 解锁文章
全局平均池化/全局最大池化Pytorch实现：
NorthSmile的博客
09-02 1万+
全局池化与普通池化的区别在于“局部区域”和“全局”：普通池化根据滑动窗口以及步长以逐步计算局部区域的方式进行；而全局池化是分别对每个通道的所有元素进行计算，谓之全局池化。大大降低计算的参数量；没有需要学习的参数，可以更好的避免过拟合；更能体现输入的全局信息；拿一个简单的网络验证参数量下降（此处只计算权重）：因为池化操作是沿着通道方向对该通道的特征进行，故对于输入(N,C,H,W)，池化输出为(N,C)。
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet
最新发布
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
04-11 4万+
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet，在计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已然成为推动众多任务发展的核心力量。从早期简单的图像识别，到如今复杂的目标检测、语义分割、图像生成等任务，CNN 都展现出了卓越的性能。CNN 的发展历程见证了一系列经典模型的诞生，其中 LeNet 作为开山之作，为 CNN 的发展奠定了基础，而 ResNet 则通过创新性的设计，突破了传统神经网络的限制，使得网络能够构建得更深、性能更优。
【模型复现】Network in Network，将1*1卷积引入网络设计，运用全局平均池化替代全连接层。模块化设计网络
白水空空
04-07 751
全连接层参数量是非常庞大的，模型通常会容易过拟合，针对这个问题，Hinton提出Dropout方法来提高泛化能力，但是全连接的计算量依旧很大。基于此，论文提出。
全局平均池化GAP
越努力，越幸运
11-22 510
Resnet50部分cfg文件 [convolutional] batch_normalize=1 filters=2048 size=1 stride=1 pad=1 activation=linear [shortcut] from=-4 activation=leaky [convolutional] filters=1000 size=1 stride=...
卷积神经网络中关于全局平均池化代替全连接层、以及参数计算等的一些思考
Amigo_1997的博客
05-10 5653
一、引发思考的实验与问题： 在一个非常小的二分类样本集（样本总数目63，“10-crop”法数据增强10倍，样本为矩阵保存为图片），通过ALexNet模型和VGG模型做分类任务，无论怎么调超参数，留出法重复50次的实验情况大致都如图A所示，而用Inception_v1的效果可以达到如图B所示。我就很奇怪为什么效果会差别这么大？按道理就算inception_v1模型有多尺度（并联卷积层）的设计思想，准确率和AUC的值是会提升，但不会提升这么多，而且在训练集的效果差距也太大了。 为了研究这个问题，我首先
vgg19全局平均池化代替全连接层_第四周[任务3]学习卷积和池化
weixin_35107169的博客
02-03 1068
一、任务简介斯坦福CS231n关于卷积和池化课程2017CS231n 斯坦福李飞飞计算机视觉识别_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com二、任务详情学习卷积核和池化，掌握特征图与参数量的计算方法，掌握卷积的计算方式。三、任务作业 1、卷积与全连接的区别卷积层可以保全空间结构，对于32*32*3的输入图像，不是把它展成一个长的向量，而是三维数据输入，可以...
CNN经典网络模型（五）：ResNet简介及代码实现（PyTorch超详细注释版）
热门推荐
qq_43307074的博客
10-01 6万+
CNN经典网络模型之一：ResNet，本文包含其简介及代码，在PyTorch中实现，进行超详细注释，适合新生小白阅读学习~
用Python手把手教你理解Resnet的运行过程（全代码注释版，基于paddle）
qq_54504522的博客
04-25 3903
全代码注释版，保姆级教学
深度学习笔记（神经网络+VGG+ResNet）
Young_Zn_Cu
08-05 996
激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。ReLU（Rectified Linear Unit）是一种常用的激活函数，全称为修正线性单元。它的主要作用是将输入值限制在一个非负的范围内。具体而言，当输入值小于0时，输出值为0；当输入值大于等于0时，输出值等于输入值本身。原理：SGD使用每个样本的梯度来更新模型参数，适用于大规模数据集。优点：简单易用，内存占用小。
【深度学习基础】全局平均池化与全连接层
菜鸡小白的博客
03-01 1003
假设前一层的输出为W*H*C：C个W*H那么全连接的任务就是:通过设置卷积核的参数，给这C个W*H分配，使得最后能得到一组长为L的特征向量，这个特征向量最终被用于分类或数值预测。全连接可以被视为是一种极端情况的卷积层，为了使每个W*H最后的输出是1*1，这个每个卷积核的尺寸也要是输入矩阵尺寸（W*H）。对每个通道都要设置不同的参数，且输出通道数为多少就要设置多少组大小为W*H*C的卷积核。由此可以看出，假设输出通道数为L，则全连接的参数量为L*C*W*H。参数量大，且容易导致过拟合。
Pytorch之经典神经网络CNN(八) —— ResNet(GAP全局池化层)(bottleneck)(CIFAR-10)
hxxjxw的博客
06-06 8470
,
全局平均池化（Golbal Average Pooling）与Concatenate层
wbzhang233的博客
07-20 967
出处：Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013. 定义：将特征图所有像素值相加求平局，得到一个数值，即用该数值表示对应特征图。 目的：替代全连接层 效果：减少参数数量，减少计算量，...
对全局平均池化的理解
weixin_30401605的博客
07-07 600
　　首先，设定全局平均池GAP化来代替FC，由于FC层参数多，训练速度慢，并且会将一定的特征存储在这些参数内。用一个GAP将N个feature map降维成1*N大小的feature map,再用class个1*1卷积核将1*N的feature map卷成1*class的向量。因此，整个过程在维度上来看相当于一层FC，但是需要注意的是，在使用GAP后，网络收敛速度将会变慢。 转载于:https:/...
全局平均池化Global Average Pooling
AI.PLAY
03-09 685
实现 假设最终分为n类，那么最后一层卷积层的输出channnel应该为10，全局平均池化对这10个feature map，累加取平均，得到十个数字，将10个数字送入softmax，得到10个概率。 优点 GAP直接赋予了最后一层feature map实际的类别意义； 大大减少了参数量； 减少由于全连接层过多的参数造成的过拟合； ...
ResNet
weixin_46556352的博客
04-14 315
ResNet
全局池化–Pytorch
weixin_45074568的博客
06-01 4870
全局池化
【计算机视觉】——全局平均池化代替全连接层，全连接层的作用？
m0_45388819的博客
10-10 7047
【计算机视觉】——全局平均池化代替全连接层，全连接层的作用？ 一、参考链接如下： 全连接层的作用是什么？ 为什么使用全局平均池化层？ 二、需要解决的问题如下： 1.全连接层的作用是什么？ 全连接层的作用主要包含以下三点： 全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：
全局平均池化 - 从特征图到全局信息
一个兴趣使然CVer的博客
10-16 3924
全局平均池化是一种将整个特征图的信息进行汇聚的池化操作。其中，全局平均池化是一种简洁而有效的方法，可以将整个特征图的信息进行汇聚。全局平均池化是一种简洁而有效的特征汇聚方法，适用于卷积神经网络的最后一层或倒数第二层。希望这篇博客能够帮助你理解全局平均池化的重要性和应用，以及它在卷积神经网络中的作用。通过这段代码，你可以了解全局平均池化的具体实现方式，并在自己的项目中应用这一操作。通过使用全局平均池化，我们可以在构建卷积神经网络时提高计算效率，减少模型复杂性，并获得更好的泛化能力。
一图读懂-神经网络14种池化Pooling原理和可视化（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
toby001111的博客
08-22 1万+
一图读懂-神经网络14种池化Pooling原理（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
知识积累同时被 2 个专栏收录54 篇文章订阅专栏YOLO模型相关33 篇文章订阅专栏系列文章地址YOLO系列基础合集——小白也看得懂的论文精解-CSDN博客YOLO系列基础（一）卷积神经网络原理详解与基础层级结构说明-CSDN博客YOLO系列基础（二）Bottleneck瓶颈层原理详解-CSDN博客YOLO系列基础（三）从ResNet残差网络到C3层-CSDN博客YOLO系列基础（四）归一化层（BN层）的前世今生！-CSDN博客YOLO系列基础（五）从神经元共适应性到模型Dropout层-CSDN博客YOLO系列基础（六）YOLOv1原理详解原理如此清晰-CSDN博客YOLO系列基础（七）从数据增强到图像线性变换-CSDN博客YOLO系列基础（八）从坐标直接预测到锚框偏移量-CSDN博客YOLO系列基础（九）YOLOv2论文及原理详解（上）-CSDN博客YOLO系列基础（十）YOLOv2论文及原理详解（下）Darknet-19网络结构-CSDN博客目录系列文章地址卷积神经网络的原理及卷积核详解一、卷积神经网络的原理二、卷积层与卷积核详解卷积核的作用卷积核的设计卷积样例与代码说明：卷积核的实际应用三、池化层（Pooling Layer）池化层的作用池化层的设计池化层的代码示例 四、全连接层（Fully Connected Layer）全连接层的作用全连接层的设计代码示例 一个简单的卷积神经网络构建示例卷积神经网络的原理及卷积核详解卷积神经网络（CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，在自然语言处理和图像领域中有广泛的应用。本文将详细讲解卷积神经网络的原理，并重点探讨卷积层、池化层、全连接层的基础层级结构的说明。一、卷积神经网络的原理卷积神经网络的核心操作是卷积操作，它通过对输入数据进行局部感知和特征提取，实现高效的特征表示。卷积操作可以看作是一种类似于加权运算的操作，在图像处理中，针对图像的像素矩阵，卷积操作就是用一个卷积核来逐行逐列地扫描像素矩阵，并与像素矩阵做元素相乘，以此得到新的像素矩阵。卷积神经网络通常由多个卷积层、池化层、全连接层等组成。卷积层用于提取输入数据的局部特征池化层用于降低特征图的维度和减少计算量全连接层用于将特征图映射到输出类别二、卷积层与卷积核详解卷积核（convolutional kernel）是卷积神经网络中的核心组件，它是一种可学习的参数，用于从输入数据中提取特征。卷积核可以从输入数据中提取出特定的特征，例如边缘、角点、纹理等。它通过卷积操作对输入数据进行局部感知和特征提取。卷积操作可以看作是一种类似于加权运算的操作，使用一个卷积核（也称为滤波器）在输入数据上进行滑动窗口式的局部加权求和，以此得到新的特征图。卷积核的作用特征提取：卷积核通过滑动窗口的方式在输入数据上进行局部感知，提取出输入数据的局部特征。这些特征可以是边缘、角点、纹理等。参数共享：卷积神经网络中的卷积核是共享的，即在整个网络中使用同一个卷积核。这种参数共享可以大大减少网络的参数数量，降低过拟合的风险。稀疏连接：每个卷积核只与输入数据的一小部分相连，这种稀疏连接可以减少网络的计算量，提高网络的计算效率。局部感知：卷积核通过局部感知的方式提取输入数据的特征，这种方式符合人类观察物体的习惯。人类观察物体时，也是从局部开始认识，然后逐渐扩展到整体。卷积核的设计大小：卷积核的大小决定了卷积的感受野大小。常用的卷积核大小有1x1、3x3、5x5等。较小的卷积核可以提取出更加局部的特征，而较大的卷积核可以提取出更加全局的特征。数量：卷积核的数量决定了输出特征图的通道数。多个卷积核可以提取出输入数据中的不同特征。初始化：卷积核的初始化可以影响网络的训练效果。常用的初始化方法有随机初始化、Xavier初始化、He初始化等。步幅（Stride）：卷积核在输入数据上滑动时每次移动的像素数，决定了输出特征图的尺寸。填充（Padding）：在输入数据的边界上填充额外的像素值，以控制输出特征图的尺寸。卷积样例与代码说明：​import torchimport torch.nn as nn # 定义一个简单的卷积层，输入通道数为3、输出通道数为16、卷积核大小为3*3、步长为2、填充数为1# 填充是为了保持输入和输出数据的空间维度一致（在stride=1且kernel_size为奇数时）。conv_layer = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3, stride=1, padding=1) # 创建一个随机输入张量（假设输入图像大小为32x32，通道数为3）input_tensor = torch.randn(1, 3, 32, 32) # 应用卷积层output_tensor = conv_layer(input_tensor)print(output_tensor.shape) # 输出形状应为[1, 16, 32, 32]（假设stride=1, padding=1）卷积核的实际应用卷积核在图像处理、计算机视觉、自然语言处理等领域都有广泛的应用。图像处理：卷积核可以用于图像的边缘检测、模糊与平滑、锐化等操作。例如，Sobel算子是一种常用的边缘检测卷积核，它可以通过计算亮度梯度来识别图像中的边缘信息。计算机视觉：卷积神经网络在目标检测、图像分类、图像分割等任务中取得了显著的效果。卷积核通过提取图像的特征，实现了对图像的高效表示和分类。自然语言处理：卷积核也可以用于自然语言处理中的文本分类、情感分析、命名实体识别等任务。通过提取文本中的n-gram特征，卷积核可以实现对文本的高效表示和分类。三、池化层（Pooling Layer）池化层（Pooling Layer）是卷积神经网络（CNN）中的关键组件之一，它紧随卷积层之后，用于进一步处理特征图，以降低数据的维度、减少计算量，并增强网络的鲁棒性。以下是对池化层的作用、设计以及有效性的详细说明。常见的池化操作包括最大池化（Max Pooling）和平均池化（Average Pooling）。通过一个滑动窗口来获取滑动窗口内的值，并选取最大值 or 求平均池化层的作用降维：通过下采样操作减少特征图的尺寸。用以增加计算效率特征不变性：池化操作保留了输入数据中最显著的特征，增强了网络对输入数据局部变化的鲁棒性。减少过拟合：通过减少特征图的维度和参数数量，池化层有助于降低模型对训练数据的过拟合风险。这提高了模型在未见过的数据上的表现能力。池化层的设计池化类型：常见的池化操作包括最大池化（Max Pooling）和平均池化（Average Pooling）。最大池化选取池化窗口中的最大值作为输出，而平均池化则计算池化窗口中的平均值作为输出。此外，还有一些其他类型的池化操作，如随机池化（Stochastic Pooling）等，但它们在实际应用中相对较少。池化窗口：池化窗口的大小决定了每次下采样操作覆盖的输入特征区域。常见的池化窗口大小有2x2、3x3等。较小的池化窗口可以保留更多的细节信息，而较大的池化窗口则可以进一步降低特征图的维度。步幅：步幅决定了池化窗口在输入特征图上滑动的距离。当步幅等于池化窗口的大小时，池化操作将不重叠地应用于输入特征图。较大的步幅可以更快地降低特征图的尺寸。池化层的代码示例 # 定义一个最大池化层，卷积核大小为2*2，步长为2，最大池化层选取2*2大小中最大的数值作为代表max_pool_layer = nn.MaxPool2d(kernel_size=2, stride=2) # 应用池化层到卷积层的输出pooled_output = max_pool_layer(output_tensor)print(pooled_output.shape) # 输出形状应为[1, 16, 16, 16]（假设输入形状为[1, 16, 32, 32]，kernel_size=2, stride=2）四、全连接层（Fully Connected Layer）原理：全连接层位于CNN的末端，用于将卷积层和池化层提取的特征映射到输出类别或回归值。每个神经元都与前一层的所有神经元相连，因此参数数量通常较大。全连接层的作用特征整合：全连接层的主要作用是对前面卷积层或池化层提取到的特征进行整合。它通过将每个神经元与前一层的所有神经元相连，实现了对全局特征的全面利用。这种整合有助于网络学习到更加复杂和抽象的特征表示。分类与回归：在神经网络的末端，全连接层通常用于输出分类结果或回归值。通过引入非线性激活函数（如Softmax或Sigmoid），全连接层可以将特征向量映射到类别标签或回归值上，从而实现最终的预测任务。
04-07
### YOLO模型及其相关的卷积神经网络基础知识 #### 什么是YOLO模型？ YOLO（You Only Look Once）是一种实时目标检测算法，它将目标检测视为单一的回归问题[^1]。与其他两阶段的目标检测方法不同，YOLO只需要一次前向传播即可完成整个图像的预测。 #### 卷积神经网络（CNN）的基础知识 卷积神经网络是一类专门用于处理二维数据的多层神经网络[^2]。其核心思想在于利用局部感受野提取特征并逐步组合这些特征以形成高层次的理解。以下是CNN的关键组成部分： - **卷积层** 卷积层通过一系列滤波器扫描输入图像的小块区域（即局部感受域），从而捕捉到诸如边缘、纹理等低级特征。这一过程减少了网络中可训练参数的数量，提高了计算效率。 - **池化层** 池化操作通常紧随卷积之后执行，目的是降低特征图的空间尺寸，同时保留最重要的信息。常见的池化方式有最大池化和平均池化。 - **全连接层** 在经过多个卷积和池化层后，最终的特征会被展平并通过全连接层映射至输出类别或位置坐标。 - **激活函数** 非线性变换对于打破线性关系至关重要。ReLU（Rectified Linear Unit）是最常用的激活函数之一，因为它能有效缓解梯度消失问题。 #### YOLO模型的具体结构与层级详解 YOLO架构主要分为以下几个部分： 1. **网格划分** 输入图片被划分为S×S个单元格，每个单元格负责预测B个边框以及对应的置信分数和C种类别的概率分布。 2. **卷积运算** 利用堆叠的卷积核逐层提取越来越抽象的特征表示。例如，在原始版本中采用了GoogLeNet作为骨干网的一部分。 3. **损失函数定义** 总体损失由定位误差、对象分类错误及无对象惩罚共同组成。具体表达式如下所示： ```python loss = λ_coord * ∑_i (x_i - ŷ_x)^2 + ... + λ_noobj * ∑_j C_j^no_obj * I(Obj)_ij ``` 4. **快速推理机制** 整张图片仅需送入网络一次便可得出所有可能的对象候选框及相关属性值，极大地提升了运行速度。 ```python import torch.nn as nn class YoloLayer(nn.Module): def __init__(self, S=7, B=2, num_classes=20): super(YoloLayer, self).__init__() self.S = S self.B = B self.num_classes = num_classes def forward(self, x): N = x.size()[0] pred = x.view(N, self.S, self.S, self.B*5+self.num_classes) return pred ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值