GlobalAveragePooling对于fc的替代作用

最新推荐文章于 2023-09-22 01:31:04 发布
最新推荐文章于 2023-09-22 01:31:04 发布
阅读量3.9k 收藏 5
点赞数 2
分类专栏： 深度机器学习组件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/80863839
版权

现在做3D-CNN处理高光谱遥感影像的网络结构时，在模型的最后一层送入到分类器之类，习惯性的会加上一个GlobalAveragePooling3D(GAP)层，这个层对减少参数和降低过拟合风险有很大的作用，它实际上是对fc层的一个替换，在ALexNet，VGG上在分类器之前都会有fc层。GAP是没有参数的，但是fc层会引入大量的参数。

GAP将最后一层的每个特征图进行一个平均池化操作，形成一个特征点，再将这些特征点组成的特征向量送入softmax进行分类。例如，最后一层的数据是10个6*6的特征图，GAP是将每一张特征图计算所有的像素点的均值，输出一个数据值，这样10个特征图就会输出10个数据点，这些数据点组成一个1*10的向量的话，就成为一个特征向量，可以进入softmax进行计算。



Kun Li
关注
专栏目录
Global Average Pooling与FC与Average Pooling与 Global Max Pooling
yang_daxia的博客
02-25 725
1.Global Average Pooling Global Average Pooling（GAP）出自 Network in network GAP 输入(H, W, C)-->（1, 1, C） 直接在HW上pooling，将信息压缩到一个点。 优点：和FC相比无训练参数，所以可以防止过拟合 参考https://zhuanlan.zhihu.com/p/376836...
全连接层FC
qq_41413211的博客
04-16 741
上图是lenet中的fc层直观上看，fc的作用是将二维矩阵变成一维列向量，假设输入是m*m的矩阵，则可以把全连接看作m*1的矩阵。
Global average Pooling
Losteng的博客
05-28 4万+
最近在看关于cifar10 的分类的识别的文章 在看all convolution network 中看到中用到一个global average pooling  下面就介绍一下global average pooling  这个概念出自于 network in network  主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这
GlobalAveragePooling2D和GlobalMaxPooling2D
Fwuyi的博客
06-24 3044
GlobalAveragePooling2D降低维度。GlobalAveragePooling2D就是求四维数据（图片）的每个通道值c的平均，最后结果没有了宽（w）高（h）维度，只剩下batchsize与average两个维度。从形状上看：[B,H,W,C] → [B,C]。下面有1张图片,shape为[1,2,2,3]，经过GlobalAveragePooling2D得到shape[1,3]。.........
如何使用全局平均池化（Global Average Pooling）
weixin_43960370的博客
04-24 1073
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。
目标检测算法-MSCNN（用于人群计数）
TJMtaotao的博客，高校计算机教师
04-20 5155
1：首先从模型结构整体理解 重要网络结构： MSB结构 网络架构应用于人群计数 2：从代码层面理解 2.1 MSB结构，就是四种...
全局平均池化替代fc的pytorch代码
最新发布
06-26
全局平均池化（Global Average Pooling, GAP）是一种常用的特征提取方法，它不依赖于输入的大小，常用于卷积神经网络（CNN）的最后一层，以代替全连接层（fully connected layer, FC）。在PyTorch中，你可以使用`nn....
用GAP取代FC精度下降
07-11
为了解决这个问题，可以考虑使用全局平均池化层（Global Average Pooling Layer，简称GAP）来替代FC层。 GAP层的主要作用是将输入特征图的高度和宽度维度压缩为1，而保留通道维度。这样做的好处是，在保持特征图...
从零开始的深度强化学习系列教程——DQN 算法原理讲解
程序员光剑
09-22 1085
随着机器学习、深度学习等技术的兴起，强化学习（Reinforcement Learning）也越来越火爆。强化学习就是让一个智能体（Agent）通过与环境进行交互，在不断探索寻找最优策略的过程中，通过学习经验改善自身的策略，从而达到长远利益最大化的目的。其中，DQN （Deep Q-Networks）是一个强化学习算法。本文将从DQN的基本原理入手，全面讲述DQN算法背后的原理和数学公式，并提供相应的代码实现及其注释。深度强化学习算法对强化学习领域的重要性不亚于监督学习。
深度学习极简教程——神经网络、模式识别、图像处理、语音处理、计算语言学、统计学等基础入门
程序员光剑
08-09 801
我作为一名技术作者，深受人工智能、机器学习等领域的科技热点所驱动。近年来，深度学习、自然语言处理、计算机视觉等技术引起了巨大的关注和影响。为了吸引读者对这些领域的兴趣，本文将对这些技术进行系统的介绍和探讨，希望能够帮助更多的人群了解其背后的理论知识和应用价值。为什么要写这样一篇文章？首先，目前国内关于深度学习相关的文章不多，大多数文章都集中在“怎么用”，而很少有系统地分析其理论基础、原理、发展方向以及实际应用场景。这就可能导致一些读者对这些技术存在误解或畏惧，甚至认为它们没有什么实际意义。
一句话理解GlobalAveragePooling2D的算法效果
weixin_42670810的博客
09-02 6709
GlobalAveragePooling2D就是将每张图片的每个通道值各自加起来再求平均，最后结果是没有了宽高维度，只剩下个数与平均值两个维度。可以理解为变成了多张单像素图片。 从形状上看：[B,H,W,C] ->GlobalAveragePooling2D -> [B,C] 下面有1张图片,高宽分别是2像素，RGB3个通道。即[1,2,2,3] 经过GlobalAveragePooling2D得到一个单通道单像素图片[1,3]. 其中RGB各分通道的像素值都加起来之后得到了一个平均值。 imp
Global Average Pooling
FanJin的博客
04-01 1万+
CNN的变种有很多，除了CNN进化史上经典的那几种Net，还有一些网络根据实际问题的不同需求，对其中某些Layer进行修改。 本文的问题源于一篇关于肺部CT的CNN的文章（ShuoWang,et al. Predicting EGFR mutation status in lung adenocarcinoma on computed tomography image using deep ...
深度学习| 用global average pooling 代替最后的全连接层
东南风的博客
08-18 2万+
最近在看关于cifar10 的分类的识别的文章 在看all convolution network 中看到中用到一个global average pooling    下面就介绍一下global average pooling  这个概念出自于 network in network  主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些...
Global Average Pooling对全连接层的可替代性分析
博观而约取，深研而广求
08-24 2万+
在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅，其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN，因此就没去看论文，看了一下其他人的博客，发现关于其原因讲得并不清楚，只说是那么用的。后来实在是受不了了，看了看论文，而且找到了一个较好的讲解，现在算是完全弄懂了。首先我们来看一下
池化 MaxPooling AveragePooling MeanPooling GlobalMaxPooling GlobalAveragePooling 区别
心之所向
03-11 1万+
MaxPooling AveragePooling 目的： 1、整合特征 2、减少参数 2、平移不变性 如上图使用的max pooling，当底层特征向右偏移一位时，由于max pooling 只关注较大值，可以看到上层特征变化不大。 上图中三个detector分别探测不同偏移方向的数字5，当探测到对应偏移的数字5时，相应的detector就会激活。而在detector上层的p...
Keras 学习笔记
dujuancao11的博客
04-01 332
SeparableConv2D keras.layers.SeparableConv2D(filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), depth_multiplier=1, activation=None, use_bias=True, depthw...
Global Average Pooling全局平均池化的一点理解
热门推荐
qq_23304241的博客
05-12 5万+
  Traditional Pooling Methods 要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。 众所周知CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕...
pytorch 学习 | 全局平均池化 global average pooling 实现 和作用优点解析
weixin_43960370的博客
03-27 1916
如果有一批特征图，其尺寸为 [ B, C, H, W], 我们经过全局平均池化之后，尺寸变为[B, C, 1, 1]。在一些论文中，我们可能会看到全局平均池化操作，但是我们从pytorch官方文档中却找不到这个API，那我们应该怎么办？也就是说，全局平均池化其实就是对每一个通道图所有像素值求平均值，然后得到一个新的1 * 1的通道图。或者自适应最大池化也可以，一样。明白这个思路之后，我们就可以很容易实现全局平均池化了。, 作用和优点什么的，都讲的很清楚。首先我们简单理解全局平均池化操作。
为什么在网络的最后用average pooling layer 代替FC
晓峰博客笔记
03-28 2852
Global Average Pooling一般用于放在网络的最后，用于替换全连接FC层，为什么要替换FC？因为在使用中，例如alexnet和vgg网络都在卷积和softmax之间串联了fc层，发现有一些缺点：（1）参数量极大，有时候一个网络超过80~90%的参数量在最后的几层FC层中； （2）容易过拟合，很多CNN网络的过拟合主要来自于最后的fc层，因为参数太多，却没有合适的regulariz...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值