对比Flatten() (按batch进行压缩） 和AveragePooling2D (按通道进行压缩） 区别

最新推荐文章于 2024-04-15 21:35:36 发布
最新推荐文章于 2024-04-15 21:35:36 发布
阅读量2.4k 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38740463/article/details/94626077
版权
本文对比了Flatten操作与AveragePooling2D在处理张量时的不同。Flatten将张量展平为一维，而AveragePooling2D则按通道进行平均池化。举例说明中，Flatten将（样本，10,20,1）展平为（样本，10 * 20 * 1），而AveragePooling2D将（样本，10,20,1）输出为（样本，1,1,1）。在处理长文本时，Flatten和Global Average Pooling（GAP）也展现出不同效果：Flatten将整个图片展平为一个数，而GAP则将输入图同一到每个维度一个数。" 104413172,6755536,微信小程序：评论功能与订阅消息实现,"['微信小程序开发', '云开发', '云函数', '订阅消息']
摘要由CSDN通过智能技术生成

Flatten() :张量（样本，10,20,1）将被展平为（样本，10 * 20 * 1）

AveragePooling2D:   张量（样本，10,20,1）将作为（样本，1,1,1）输出，假设第二维和第三维是空间的（通道最后）

 

 

案例2：

输入为（32，420）的长文本，输出为（batch,1,106,512）  ps:其中1*106为特征图输出大小

                                           

最低0.47元/天 解锁文章
hi我是大嘴巴
关注
在分布式环境下利用“彩票假说”进行模型压缩的方法 The Lottery Ticket Hypothesis: Finding Sparse, Trainable
程序员光剑
08-05 788
2019年5月，Facebook AI研究院发布了一项著名的论文“The Lottery Ticket Hypothesis”，本文通过证明神经网络中存在一个稀疏的、可训练的子集，而这个子集可以将网络从测试误差最小化到最低水平上升，达到学习到网络结构、权重和参数并保持其稳定性的目的，因此被称为“彩票假说”。该假说认为存在着一些神经网络的“小票”，即某些参数在训练过程中始终不更新，导致训练得到的模型具有很高的准确率但非常不健壮。因此，利用这些小票可以训练出特定的神经网络，并提取出稠密、可训练的权重。
模型压缩（Model Pruning）： Breaking Down the Cost Benefit of Model Pruning for DeepLearning
程序员光剑
07-15 1945
作者：禅与计算机程序设计艺术 随着深度学习技术的发展、深层神经网络的普及和应用的广泛化，训练大型神经网络模型已成为当下热点话题。而模型压缩（model pruning）是近年来深度学习领域的一个重要研究方向，通过对模型权重进行裁剪或删除冗余信息，可以有效减少模型大小、降低计算复杂度、提升推理性能等作用。然而，模型压缩的“利”与“弊”一直被
Python 实现二叉树前序，中序，后序，零基础也能看得懂
m0_67621628的博客
03-17 819
self.element = element self.l_child = l_child self.r_child = r_child class Tree(object): “”“树类”"" def init(self): self.root = Node() self.queue = [] def add_node(self, element): “”“为树添加节点”"" node = Node(element) 如果树是空的，则对根节点赋值 if self.root.element == -1: s
tf.keras.layers.MaxPooling2D
一个学术five的blog
10-31 3862
tf.keras.layers.MaxPooling2D
tensorflow之神经网络层：AveragePooling2D、average_pooling2d、Conv2D和conv2d
大雄没有叮当猫的博客
09-19 1万+
微信公众号：数据挖掘与分析学习 1. tf.layers.Conv2D Class Conv2D:2D卷积层，如图像上的空间卷积 该层创建卷积核，该卷积核与层的输入卷积（实际上是交叉相关）以产生输出张量。 如果use_bias为True（并且提供了bias_initializer），则会创建偏置向量并将其添加到输出。 最后，如果激活函数不是None，它也会应用于输出。 参数： filte...
Numpy实现MaxPooling2D（最大池化）和AveragePooling2D（平均池化）
m0_61331237的博客
04-11 868
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。
详解Keras3.0 Layers API: Pooling layers （AveragePooling1D 、AveragePooling2D 、AveragePooling3D）
lymake的博客
12-16 1296
【代码】详解Keras3.0 Layers API: Pooling layers （AveragePooling1D 、AveragePooling2D 、AveragePooling3D）
精选目标检测3——yolo1、yolo2、yolo3和SSD的网络结构汇总对比
热门推荐
cv君的博客
03-25 3万+
学习前言 各个网络的结构图与其实现代码 1、yolo1 2、yolo2 3、yolo3 4、SSD 总结 学习前言 ……最近在学习yolo1、yolo2和yolo3，事实上它们和SSD网络有一定的相似性，我准备汇总一下，看看有什么差别。 各个网络的结构图与其实现代码 1、yolo1 在这里插入图片描述 由图可见，其进行了二十多次卷积还有四次最大池化，其中3x3卷积用于提取特征，1x1卷积用于压缩特征，最后将图像压缩到7x7xfilter的大小，相当于将整个图像划分为7x7
def MEAN_Spot(opt): # channel 1 inputs1 = layers.Input(shape=(42,42,1)) conv1 = layers.Conv2D(3, (5,5), padding='same', activation='relu', kernel_regularizer=l2(0.001))(inputs1) bn1 = layers.BatchNormalization()(conv1) pool1 = layers.MaxPooling2D(pool_size=(3, 3), padding='same', strides=(3,3))(bn1) do1 = layers.Dropout(0.3)(pool1) # channel 2 inputs2 = layers.Input(shape=(42,42,1)) conv2 = layers.Conv2D(3, (5,5), padding='same', activation='relu', kernel_regularizer=l2(0.001))(inputs2) bn2 = layers.BatchNormalization()(conv2) pool2 = layers.MaxPooling2D(pool_size=(3, 3), padding='same', strides=(3,3))(bn2) do2 = layers.Dropout(0.3)(pool2) # channel 3 inputs3 = layers.Input(shape=(42,42,1)) conv3 = layers.Conv2D(8, (5,5), padding='same', activation='relu', kernel_regularizer=l2(0.001))(inputs3) bn3 = layers.BatchNormalization()(conv3) pool3 = layers.MaxPooling2D(pool_size=(3, 3), padding='same', strides=(3,3))(bn3) do3 = layers.Dropout(0.3)(pool3) # merge 1 merged = layers.Concatenate()([do1, do2, do3]) # interpretation 1 merged_conv = layers.Conv2D(8, (5,5), padding='same', activation='relu', kernel_regularizer=l2(0.1))(merged) merged_pool = layers.MaxPooling2D(pool_size=(2, 2), padding='same', strides=(2,2))(merged_conv) flat = layers.Flatten()(merged_pool) flat_do = layers.Dropout(0.2)(flat) # outputs outputs = layers.Dense(1, activation='linear', name='spot')(flat_do) #Takes input u, v, os model = keras.models.Model(inputs=[inputs1, inputs2, inputs3], outputs=[outputs]) model.compile( loss={'spot':'mse'}, optimizer=opt, metrics={'spot':tf.keras.metrics.MeanAbsoluteError()}, ) return model 如何将特征图合并处理并且加入通道注意力和空间注意力模块
06-08
channel_avg = layers.GlobalAveragePooling2D()(input_tensor) # 通道注意力加权 channel_dense1 = layers.Dense(units=input_tensor.shape[-1] // reduction_ratio, activation='relu')(channel_avg) channel_...
Tensorflow2.0笔记 - 卷积层Conv2D,最大值和均值池化层(MaxPool2D/ AveragePooling2D)，上采样层(UpSampling2D)
最新发布
vivo01的专栏
04-15 571
本笔记主要记录卷积层Conv2D,最大值和均值池化层(MaxPool2D/ AveragePooling2D)，上采样层(UpSampling2D)的相关内容。
Pytorch：flatten()函数，压缩tensor的维度
鳄鱼的博客
07-25 5119
前言 有时候会面对需要把数据进行维度转换的情况， 比如本来512*N*W*H（BNWH)的维度需要转换为512*(N*W*H)的一个output和(N*W*H)*512的一个output，然后将两者进行矩阵乘法。 即（NHW)*512 X 512*(NWH) = (NHW)*(NHW)， 然后再和初始的512*N*W*H进行矩阵乘法，结果仍旧是512*N*W*H，常用在一些non-local conv block中。 代码 import torch import numpy as np input = t
Tensorflow笔记——卷积神经网络
qq_55977554的博客
09-07 3306
每个神经元与前后相邻的每一个神经元都有连接关系。（可以实现分类和预测）：（前层*后层+后层）如下面构建的这个全连接神经网络，其参数量为28*28*128w+128b+128*10w+10=101770个而上面的代码就是Mnist数据集分类的全连接神经网络模型，而在实际应用中，我们所处理的图像不是灰度图，大部分是彩色图，这样会涉及到更多的参数，虽然全连接网络一般被认为是分类预测的最佳网络，但是当待优化参数过多，容易导致模型过拟合。
一句话理解GlobalAveragePooling2D的算法效果
weixin_42670810的博客
09-02 6725
GlobalAveragePooling2D就是将每张图片的每个通道值各自加起来再求平均，最后结果是没有了宽高维度，只剩下个数与平均值两个维度。可以理解为变成了多张单像素图片。 从形状上看：[B,H,W,C] ->GlobalAveragePooling2D -> [B,C] 下面有1张图片,高宽分别是2像素，RGB3个通道。即[1,2,2,3] 经过GlobalAveragePooling2D得到一个单通道单像素图片[1,3]. 其中RGB各分通道的像素值都加起来之后得到了一个平均值。 imp
过滤器和卷积/卷积中的通道问题,batchnorm2d,batch
weixin_45436729的博客
05-14 1007
一直对这个的认识很混乱，记录下来自己学习使用。 卷积核和过滤器的区别： 卷积核：长和宽，二维 过滤器：长宽，深度，三维 当处理单通道的时候，卷积核等同于过滤器。当处理多通道时，例如RGB图像，三个卷积处理不同通道的图像，最后将处理的数据相加，这三个卷积合在一起成为过滤器。 in_channels 取决于图片的类型，out_channels取决于过滤器的数量。 这个图非常清楚 ...
Golbal Average Pooling+tf.layers.dense()+tf.contrib.layers.flatten()
小林九
09-01 340
global average pooling：把特征图全局平均一下输出一个值，也就是把WHD的一个张量变成11D的张量。 tf.layers.dense(): 改变最后一个维度的数值。 tf.contrib.layers.flatten(A)：函数使得A保留第一个维度，把第一个维度包含的每一子张量展开成一个行向量，返回张量是一个二维的，返回的shape为（第一维度，子张量乘积）。 一般用于卷积神经网络全连接层前的预处理，因为全连接层需要将输入数据变为一个向量，向量大小为[batch size, --] 如下
GlobalAveragePooling2D和GlobalMaxPooling2D
Fwuyi的博客
06-24 3049
GlobalAveragePooling2D降低维度。GlobalAveragePooling2D就是求四维数据（图片）的每个通道值c的平均，最后结果没有了宽（w）高（h）维度，只剩下batchsize与average两个维度。从形状上看：[B,H,W,C] → [B,C]。下面有1张图片,shape为[1,2,2,3]，经过GlobalAveragePooling2D得到shape[1,3]。.........
tensorflow中keras的GlobalAveragePooling2D和AveragePooling2D的区别
qq_37891889的博客
11-03 1万+
平均池化CNN中是常用的操作，下面介绍一下tensorflow中keras的GlobalAveragePooling2D和AveragePooling2D的返回的tensor的维度的区别。 GlobalAveragePooling2D是平均池化的一个特例，它不需要指定pool_size和strides等参数，操作的实质是将输入特征图的每一个通道求平均得到一个数值。它的输入和输出维度为： Inp...
Global Average Pooling对全连接层的可替代性分析
博观而约取，深研而广求
08-24 2万+
在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅，其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN，因此就没去看论文，看了一下其他人的博客，发现关于其原因讲得并不清楚，只说是那么用的。后来实在是受不了了，看了看论文，而且找到了一个较好的讲解，现在算是完全弄懂了。首先我们来看一下
global average pooling 和flatten之间有什么区别么?
02-12
"Global Average Pooling" 和 "Flatten" 之间有明显的区别。 "Global Average Pooling" 是一种在卷积神经网络中使用的池化操作，其目的是将多维的特征图（例如，在卷积层中产生的输出）降维为一维向量。具体而言，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值