DenseNet中的dense_block模块的实现

最新推荐文章于 2024-09-06 16:56:02 发布
最新推荐文章于 2024-09-06 16:56:02 发布
阅读量3.8k 收藏 10
点赞数 1
文章标签： tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/belong_to_you/article/details/105822171
版权

运行环境：tensorflow2.1+python3.7

代码如下：

#denseNet121的实现
import tensorflow as tf
from tensorflow.keras.layers import Dense,Conv2D,BatchNormalization,AveragePooling2D,Flatten
from tensorflow.keras.layers import MaxPooling2D,Activation,Concatenate,GlobalAveragePooling2D
from tensorflow.keras import Input,Model

def dense_block(x,blocks):
    for i in range(blocks):
        x=conv2d_block(x,32)
    return x
def conv2d_block(x,grow_rate):
    #在tf中，axis是从0开始计算的，3表示channel层
    bn_axis=3
    
    x1=BatchNormalization(axis=bn_axis,epsilon=1.0001e-5)(x)
    x1=Activation('relu')(x1)
    x1=Conv2D(grow_rate*4,(1,1),padding='same')(x1)
    
    x1=BatchNormalization(axis=bn_axis,epsilon=1.0001e-5)(x1)
    x1=Activation('relu')(x1)
    x1=Conv2D(grow_rate,(3,3),padding='same')(x1)
    
    x=Concatenate()([x,x1])
    return x

def transition_block(x,reduction):
    
    bn_axis=3
    x=BatchNormalization(axis=bn_axis,epsilon=1.001e-5)(x)
    x=Activation('relu')(x)
    
    x=Conv2D(int(x.shape[bn_axis]*reduction),(1,1),padding='same')(x)
    x=AveragePooling2D(strides=(2,2))(x)
    
    return x

def denseNet(inputs,blocks):
    x=Conv2D(24,(7,7),padding='same',strides=2)(inputs)
    x=MaxPooling2D(pool_size=(3,3),strides=2,padding='same')(x)
    for i,block in enumerate(blocks):
        x=dense_block(x,block)
        if i!=len(blocks)-1:
            x=transition_block(x,0.5)
    x=GlobalAveragePooling2D()(x)
    x=Flatten()(x)
    x=Dense(1000,activation='relu')(x)
    return x

inputs=Input([224,224,3])
blocks=[6,12,24,16]
#x=dense_block(inputs,6,"dense")
#outputs=transition_block(x,0.5,"dense")


outputs=denseNet(inputs,blocks)
model=Model(inputs,outputs,name="densenet")
model.summary()

运行结果：

"""
Model: "densenet"
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1 (InputLayer)            [(None, 224, 224, 3) 0                                            
__________________________________________________________________________________________________
conv2d (Conv2D)                 (None, 112, 112, 24) 3552        input_1[0][0]                    
__________________________________________________________________________________________________
max_pooling2d (MaxPooling2D)    (None, 56, 56, 24)   0           conv2d[0][0]                     
__________________________________________________________________________________________________
batch_normalization (BatchNorma (None, 56, 56, 24)   96          max_pooling2d[0][0]              
__________________________________________________________________________________________________
activation (Activation)         (None, 56, 56, 24)   0           batch_normalization[0][0]        
__________________________________________________________________________________________________
conv2d_1 (Conv2D)               (None, 56, 56, 128)  3200        activation[0][0]                 
__________________________________________________________________________________________________
batch_normalization_1 (BatchNor (None, 56, 56, 128)  512         conv2d_1[0][0]                   
__________________________________________________________________________________________________
activation_1 (Activation)       (None, 56, 56, 128)  0           batch_normalization_1[0][0]      
__________________________________________________________________________________________________
conv2d_2 (Conv2D)               (None, 56, 56, 32)   36896       activation_1[0][0]               
__________________________________________________________________________________________________
concatenate (Concatenate)       (None, 56, 56, 56)   0           max_pooling2d[0][0]              
                                                                 conv2d_2[0][0]                   
__________________________________________________________________________________________________
batch_normalization_2 (BatchNor (None, 56, 56, 56)   224         concatenate[0][0]                
__________________________________________________________________________________________________
activation_2 (Activation)       (None, 56, 56, 56)   0           batch_normalization_2[0][0]      
__________________________________________________________________________________________________
conv2d_3 (Conv2D)               (None, 56, 56, 128)  7296        activation_2[0][0]               
__________________________________________________________________________________________________
batch_normalization_3 (BatchNor (None, 56, 56, 128)  512         conv2d_3[0][0]                   
__________________________________________________________________________________________________
activation_3 (Activation)       (None, 56, 56, 128)  0           batch_normalization_3[0][0]      
__________________________________________________________________________________________________
conv2d_4 (Conv2D)               (None, 56, 56, 32)   36896       activation_3[0][0]               
__________________________________________________________________________________________________
concatenate_1 (Concatenate)     (None, 56, 56, 88)   0           concatenate[0][0]                
                                                                 conv2d_4[0][0]                   
__________________________________________________________________________________________________
batch_normalization_4 (BatchNor (None, 56, 56, 88)   352         concatenate_1[0][0]              
__________________________________________________________________________________________________
activation_4 (Activation)       (None, 56, 56, 88)   0           batch_normalization_4[0][0]      
__________________________________________________________________________________________________
conv2d_5 (Conv2D)               (None, 56, 56, 128)  11392       activation_4[0][0]               
__________________________________________________________________________________________________
batch_normalization_5 (BatchNor (None, 56, 56, 128)  512         conv2d_5[0][0]                   
__________________________________________________________________________________________________
activation_5 (Activation)       (None, 56, 56, 128)  0           batch_normalization_5[0][0]      
__________________________________________________________________________________________________
conv2d_6 (Conv2D)               (None, 56, 56, 32)   36896       activation_5[0][0]               
__________________________________________________________________________________________________
concatenate_2 (Concatenate)     (None, 56, 56, 120)  0           concatenate_1[0][0]              
                                                                 conv2d_6[0][0]                   
__________________________________________________________________________________________________
batch_normalization_6 (BatchNor (None, 56, 56, 120)  480         concatenate_2[0][0]              
__________________________________________________________________________________________________
activation_6 (Activation)       (None, 56, 56, 120)  0           batch_normalization_6[0][0]      
__________________________________________________________________________________________________
conv2d_7 (Conv2D)               (None, 56, 56, 128)  15488       activation_6[0][0]               
__________________________________________________________________________________________________
batch_normalization_7 (BatchNor (None, 56, 56, 128)  512         conv2d_7[0][0]                   
__________________________________________________________________________________________________
activation_7 (Activation)       (None, 56, 56, 128)  0           batch_normalization_7[0][0]      
__________________________________________________________________________________________________
conv2d_8 (Conv2D)               (None, 56, 56, 32)   36896       activation_7[0][0]               
__________________________________________________________________________________________________
concatenate_3 (Concatenate)     (None, 56, 56, 152)  0           concatenate_2[0][0]              
                                                                 conv2d_8[0][0]                   
__________________________________________________________________________________________________
batch_normalization_8 (BatchNor (None, 56, 56, 152)  608         concatenate_3[0][0]              
__________________________________________________________________________________________________
activation_8 (Activation)       (None, 56, 56, 152)  0           batch_normalization_8[0][0]      
__________________________________________________________________________________________________
conv2d_9 (Conv2D)               (None, 56, 56, 128)  19584       activation_8[0][0]               
__________________________________________________________________________________________________
batch_normalization_9 (BatchNor (None, 56, 56, 128)  512         conv2d_9[0][0]                   
__________________________________________________________________________________________________
activation_9 (Activation)       (None, 56, 56, 128)  0           batch_normalization_9[0][0]      
__________________________________________________________________________________________________
conv2d_10 (Conv2D)              (None, 56, 56, 32)   36896       activation_9[0][0]               
__________________________________________________________________________________________________
concatenate_4 (Concatenate)     (None, 56, 56, 184)  0           concatenate_3[0][0]              
                                                                 conv2d_10[0][0]                  
__________________________________________________________________________________________________
batch_normalization_10 (BatchNo (None, 56, 56, 184)  736         concatenate_4[0][0]              
__________________________________________________________________________________________________
activation_10 (Activation)      (None, 56, 56, 184)  0           batch_normalization_10[0][0]     
__________________________________________________________________________________________________
conv2d_11 (Conv2D)              (None, 56, 56, 128)  23680       activation_10[0][0]              
__________________________________________________________________________________________________
batch_normalization_11 (BatchNo (None, 56, 56, 128)  512         conv2d_11[0][0]                  
__________________________________________________________________________________________________
activation_11 (Activation)      (None, 56, 56, 128)  0           batch_normalization_11[0][0]     
__________________________________________________________________________________________________
conv2d_12 (Conv2D)              (None, 56, 56, 32)   36896       activation_11[0][0]              
__________________________________________________________________________________________________
concatenate_5 (Concatenate)     (None, 56, 56, 216)  0           concatenate_4[0][0]              
                                                                 conv2d_12[0][0]                  
"""

在上述结果中的concatenate_5，他的输出是concatenate_4+conv2d_12，也就是dense_block中的密集连接（在这里有所体现，也是核心所作）。

注：input layer之后的7*7卷积层的卷积层数为24，论文中提到应设为2*k

参考资料：

https://blog.csdn.net/weixin_44791964/article/details/105472196

belong_to_you
关注
pytorch实现DenseBlock
qq_42754919的博客
10-09 1万+
1.介绍 DenseBlock是DenseNet网络的重要组成部分，下面图片展示的是从DenseNet网络中节选出来的DenseBlock模块。 其主要思想是：对于每一层，前面所有层的特征映射作为当前层输入，而自己的特征映射为后续层输入，形成全互链接。每层提取出来的特征映射都可以供后续层使用。 优点：1.缓解梯度消失；2.增强特征传播；3.降低参数数量。 2.代码 class _DenseLayer(nn.Sequential): '''DenseBlock中的内部结构，这里是BN+ReLU+
改进YOLOv5 | 引入密集连接卷积网络DenseNet思想 | 搭建密集连接模块
YOLOv8项目贡献者
12-30 1万+
自己搭建的模块，make paper easy again ~
DenseNet的一些个人理解
pnt17865562523的博客
01-14 1287
最近看神经网络的发展历程看到了这个,写在这里方便以后查看. DenseNet主要结构包括Dense Block, Transition Layer 和最后的fully connected layers. Dense Block 是一种具有紧密连接性质的卷积神经网络,该神经网络中的任何两层都有直接连接，即网络中每一层的输入都是前面所有层输出的并集，而这一层学习到的特征也会被直接传递到后面的所有层作为输入。假设输入为一个图片,经过一个L层的神经网络,其中第i层的非线性变换记为 ,它可以是多种函数操作的累.
【GAN：Dense block：VIIF】
weixin_43690932的博客
10-24 1252
仅供自己未coding时理解
DenseNet 结构详解！！！（只讲结构，没有代码，保证你能看懂）
最新发布
TINSHUOGUO的博客
09-06 938
具体解决什么问题的，还是自己去看论文吧，这里只讲解网络结构，话不多说，先上图。先来看一下一个有三个Dense Block的深层DenseNet架构，首先是在输入层input之后连了一个卷积层，直接来是本篇论文的重点了：Dense Block（密集块），接着是卷积+池化，再连Dense Block，然后再是卷积+池化，再连Dense Block，最后是池化+全连接输出。
经典卷积网络——DenseNet代码实现
机器学习，深度学习
09-02 2882
题目：Densely Connected Convolutional Networks 论文地址：https://arxiv.org/pdf/1608.06993.pdf 常见的卷积网络结构对比： 图1. 经典卷积结构对比 DenseNet...
DenseBlocks:无监督分类算法-开源
04-29
DenseBlocks是n维数字数据的无监督分类方法。 它创建给定训练样本的多维密度表示，相应地定义聚类并返回该表示，该表示可进一步用于对相关数据进行分类。
【模型复现】densenet，增加残差结构连接，复用特征图的角度降低了计算量还提升了精度，transition_block压缩特征图
白水空空
04-09 1020
相比ResNet，DenseNet提出了一个更激进的密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入。下图为DenseNet的密集连接机制。可以看到，ResNet是每个层与前面的某层（一般是2~3层）短路连接在一起，。而在DenseNet中，每个层都会与前面所有层在channel维度上连接（concat）在一起（这里各个层的特征图大小是相同的，后面会有说明），并作为下一层的输入。对于一个 L 层的网络，DenseNet共包含2LL1​。
轻量级卷积网络DenseNet：密集连接卷积网络
panghuzhenbang的博客
05-07 6429
原文地址：CVPR 2017 《Densely Connected Convolutional Networks》 卷积神经网络如何提高效果： 网络做得更深：ResNet，解决了网络深时的梯度消失问题； 网络做得更宽：即增加每一层的输入输出通道数，例如GoogleNet的Inception； 还有什么方法可以提高网络的效果呢？ 作者的想法则是从feature map入手，通过对feature的极致利用达到更好的效果和更少的参数，希望网络可以支持百层以上的深度，以减少更多的参数和计算量来实现更高的
具有上采样模块的DenseNet，用于识别图像中的文本
03-02
在本文中，我们尝试使用密集卷积网络（DenseNet）替代CRNN的卷积网络来连接和组合多个功能，从而潜在地改善结果。 另外，我们使用上采样功能构造一个上采样块，以减少池化阶段下采样的负面影响，并在一定程度上恢复...
DenseNet密集卷积网络详解（附代码实现）
热门推荐
雷恩Layne
09-03 2万+
文章目录前言Dense BlockGrowth rateBottleneckTransition layer压缩因子DenseNet网络结构DenseNet优缺点Pytorch实现DenseNet 前言 DenseNet是CVPR2017的最佳论文，由康奈尔大学黄高博士（Gao Huang）、清华大学本科生刘壮（Zhuang Liu）、Facebook 人工智能研究院研究科学家 Laurens van der Maaten 及康奈尔大学计算机系教授 Kilian Q. Weinberger 所作，有兴趣的同
densenet代码
04-14
在DenseNet代码中，可能包含了对ResNet的实现，以便进行对比研究或作为基础模型。 总的来说，DenseNet通过密集连接提升了模型的性能，而TensorFlow提供了一个强大且灵活的平台来实现这样的网络结构。在实际应用中，...
YOLOv5改进：引入DenseNet思想打造密集连接模块，彻底提升目标检测性能
学Java，找哪吒
05-11 2934
目录一、密集连接模块的介绍1、密集连接的概念2、密集连接与残差连接的对比3、DenseNet的结构二、 YOLOv5中引入密集连接模块的原因1、密集连接模块对于目标检测的优势2、密集连接模块对目标检测性能的影响三、 YOLOv5中密集连接模块的具体实现1、使用DenseNet的基本单元DenseBlock作为密集连接模块的基本结构：2、在每个DenseBlock中，将每个卷积层的输出与之前所有卷积层的输出进行拼接，并作为下一个卷积层的输入：3、在每个DenseBlock之间添加一个Transition层，
DenseNet 浅析
晓野豬
08-05 4300
DenseNet 于论文《》中提出，是 CVPR2017 的 oral。论文提出 DenseNet 并与 ResNet 和 Inception 做对较。为提升网络的效果，一般操作是增加网络的深度和宽度，但论文作者另辟蹊径，聚焦于 feature 的极致利用以获得更佳效果和更少参数。对于梯度消失问题，ResNet 等网络使用跳层连接结构加以解决。作者延续该思路，提出 DenseBlock，在保证网络层间最大程度的信息传输的同时，直接将所有层连接起来。........................
【深度学习原理第9篇】DenseNet模型详解
小样yx的博客
12-09 3765
一、背景概述 DenseNet是2017年CVPR的最佳论文，它不同于ResNet中的残差结构，也不同于GoogLetNet中的Inception网络结构。DenseNet提出了一种新的提升性能的思路，即作者通过对特征层的极致利用使模型有了更好的性能，并且相比ResNet进一步减少了参数，提高了性能，特征层的极致利用表现在更密集的特征连接，密集连接也是本篇文章的核心。让我们一起来学习它吧。 二、DenseNet 论文地址：https://arxiv.org/pdf/1608.06993.pdf 下图为De
经典网络结构 (六)：DenseNet (Densely Connected Networks 稠密连接网络)
连理o的博客
06-28 1860
本节参考：《深度学习之PyTorch物体检测实战》 《DIVE INTO DEEP LEARNING》 目录Function Decomposition稠密块（dense block）过渡层（transition layer）DenseNet模型Why do we use average pooling rather than max-pooling in the transition layer?high memory consumptionWhy do we not need to concatenat
CNN卷积神经网络之SENet及代码
qq_41917697的博客
02-26 8816
CNN卷积神经网络之SENet未经本人同意，禁止任何形式的转载！一、前言二、SE block细节SE block的运用实例模型的复杂度三、消融实验1.降维系数r2.Squeeze操作3.Excitation操作4.不同的stages5.集成策略四、SE block作用的分析五、SENET-154的一些细节* 未经本人同意，禁止任何形式的转载！ 一、前言 《Squeeze-and-Excitation Networks》 论文地址：https://arxiv.org/abs/1709.01507. SENe
【网络结构】DenseNet
可乐大牛的博客
06-15 1836
在ResNet之后，骨干网络的结构有两种趋势，一种是更深，另一种是更宽。 而DenseNet则不是，它在ResNet的short-path的基础上提出了一种稠密卷积的思想，进一步缓解了梯度消失的问题，加强了特征提取、特征重用的效果，并且显著减少了参数量。 在每一个稠密卷积块中，它的输入是前面所有层的输出进行concat之后的结果，它的输出同样会作用到后面的所有层。这样一来，信息或者梯度的流通就非常通畅了，一方面使得网络更容易训练，另一方面也使得网络达到非常好的特征提取的作用。 其中有两点，一点是.....
在densenet中添加se模块
05-26
在DenseNet中添加SE（Squeeze-and-Excitation）模块可以通过以下步骤实现： 1. 定义SE模块函数： ``` import tensorflow as tf def se_block(input_tensor, compress_rate=16): # 获取输入张量的形状 input_shape = input_tensor.get_shape().as_list() # 计算通道数 num_channels = input_shape[-1] # 压缩通道数 reduced_channels = num_channels // compress_rate # Squeeze操作：全局平均池化 squeeze = tf.reduce_mean(input_tensor, [1, 2]) # Excitation操作：全连接层 excitation = tf.layers.dense(squeeze, reduced_channels, activation=tf.nn.relu) excitation = tf.layers.dense(excitation, num_channels, activation=tf.nn.sigmoid) # Reshape张量 excitation = tf.reshape(excitation, [-1, 1, 1, num_channels]) # Scale操作：原始张量与Excitation张量相乘 scale = input_tensor * excitation return scale ``` 2. 在DenseBlock中应用SE模块： ``` def dense_block(input_tensor, num_layers, growth_rate, bottleneck_width=4): # 存储所有密集块中的特征映射 features = [input_tensor] # 创建num_layers个密集层 for i in range(num_layers): # 计算Bottleneck层的输出通道数 bottleneck_channels = growth_rate * bottleneck_width # BN-ReLU-Conv1x1-BN-ReLU-Conv3x3 x = batch_norm_relu(features[-1]) x = conv2d(x, bottleneck_channels, kernel_size=1) x = batch_norm_relu(x) x = conv2d(x, growth_rate, kernel_size=3) # 应用SE模块 x = se_block(x) # 将当前层的输出添加到特征列表中 features.append(x) # 将所有特征映射串联在一起 output_tensor = tf.concat(features, axis=-1) return output_tensor ``` 注意：在应用SE模块时，应该添加在密集块的最后一个卷积层之后。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值