CNN模型复现6 SqueezeNet

最新推荐文章于 2024-04-29 10:41:45 发布
最新推荐文章于 2024-04-29 10:41:45 发布
阅读量171 收藏 1
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35732321/article/details/115255414
版权
本文详细介绍了SqueezeNet网络结构，包括Conv+MaxPool、Fireblocks和Conv+AvgPool，并提供了Keras实现的代码示例。SqueezeNet通过高效的Fireblock设计实现了轻量级模型，适合资源受限的设备。代码展示了如何构建网络，包括输入、Fireblock模块、模型主体及最后的全局平均池化和softmax层。
摘要由CSDN通过智能技术生成

CNN模型复现6 SqeezeNet

6.SqueezeNet

SqueezeNet:arXiv:1602.07360v4 [cs.CV] 4 Nov 2016 ;
论文下载link

6.1 网络结构

(1) 网络结构

  1. Conv + MaxPool
  2. Fire blocks + MaxPool
  3. Conv + AvgPool

(2) Fire blocks
在这里插入图片描述


 Conv 1x1
    ↓
Conv 1x1 + Conv 3x3
    ↓
 concatenate

(3) Model diagram
在这里插入图片描述

Conv
MaxPool
    ↓
Fire block * 3 + maxpool
    ↓
Fire block * 4 + maxpool
    ↓        
Fire block
    ↓
Conv2D
GlobalAvgPool
softmax

6.2 代码

(1) 代码流程

  1. 导入程序包
  2. 编写Fire blocks
  3. 建立stem
  4. 建立model

(2) 代码

# 1.Imports
from keras import Model
from keras.layers import Input,Conv2D,Concatenate,Activation,MaxPool2D,GlobalAvgPool2D

# 2 Fire block
def fire_block(x,squeeze_filters,expand_filters):
    '''
    conv 1x1 --> squeezed tensor1
    conv 1x1 + conv 3x3 --> tensor2
    concatenate([tensor1,tensor2])
    '''
    squeezed = Conv2D(filters=squeeze_filters,kernel_size=1,activation='relu')(x)
    expanded_1x1 = Conv2D(filters=expand_filters,kernel_size=1)(squeezed)
    expanded_3x3 = Conv2D(filters=expand_filters,kernel_size=3,padding='same')(squeezed)

    expanded = Concatenate()([expanded_1x1,expanded_3x3])
    expanded = Activation('relu')(expanded)
    return expanded

# 3.Model stem
input = Input(shape=(224,224,3))
x = Conv2D(filters=96,kernel_size=7,strides=2,padding='same')(input)
x = MaxPool2D(pool_size=3,strides=2,padding='same')(x)

# 4.Fire block * 3 + maxpool + Fire block * 4 + maxpool + Fire block
x = fire_block(x,squeeze_filters=16,expand_filters=64)
x = fire_block(x,squeeze_filters=16,expand_filters=64)
x = fire_block(x,squeeze_filters=32,expand_filters=128)
x = MaxPool2D(pool_size=3,strides=2,padding='same')(x)

x = fire_block(x,squeeze_filters=32,expand_filters=128)
x = fire_block(x,squeeze_filters=48,expand_filters=192)
x = fire_block(x,squeeze_filters=48,expand_filters=192)
x = fire_block(x,squeeze_filters=64,expand_filters=256)
x = MaxPool2D(pool_size=3,strides=2,padding='same')(x)
x = fire_block(x,squeeze_filters=64,expand_filters=256)

# 5. Last
x = Conv2D(filters=1000,kernel_size=1)(x)
x = GlobalAvgPool2D()(x)
output = Activation('softmax')(x)

model = Model(inputs=input,outputs=output)
model.summary()
'''
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1 (InputLayer)            (None, 224, 224, 3)  0                                            
__________________________________________________________________________________________________
conv2d_1 (Conv2D)               (None, 112, 112, 96) 14208       input_1[0][0]                    
__________________________________________________________________________________________________
max_pooling2d_1 (MaxPooling2D)  (None, 56, 56, 96)   0           conv2d_1[0][0]                   
__________________________________________________________________________________________________
conv2d_2 (Conv2D)               (None, 56, 56, 16)   1552        max_pooling2d_1[0][0]            
__________________________________________________________________________________________________
conv2d_3 (Conv2D)               (None, 56, 56, 64)   1088        conv2d_2[0][0]                   
__________________________________________________________________________________________________
conv2d_4 (Conv2D)               (None, 56, 56, 64)   9280        conv2d_2[0][0]                   
__________________________________________________________________________________________________
concatenate_1 (Concatenate)     (None, 56, 56, 128)  0           conv2d_3[0][0]                   
                                                                 conv2d_4[0][0]                   
__________________________________________________________________________________________________
activation_1 (Activation)       (None, 56, 56, 128)  0           concatenate_1[0][0]              
__________________________________________________________________________________________________
conv2d_5 (Conv2D)               (None, 56, 56, 16)   2064        activation_1[0][0]               
__________________________________________________________________________________________________
conv2d_6 (Conv2D)               (None, 56, 56, 64)   1088        conv2d_5[0][0]                   
__________________________________________________________________________________________________
conv2d_7 (Conv2D)               (None, 56, 56, 64)   9280        conv2d_5[0][0]                   
__________________________________________________________________________________________________
concatenate_2 (Concatenate)     (None, 56, 56, 128)  0           conv2d_6[0][0]                   
                                                                 conv2d_7[0][0]                   
__________________________________________________________________________________________________
activation_2 (Activation)       (None, 56, 56, 128)  0           concatenate_2[0][0]              
__________________________________________________________________________________________________
conv2d_8 (Conv2D)               (None, 56, 56, 32)   4128        activation_2[0][0]               
__________________________________________________________________________________________________
conv2d_9 (Conv2D)               (None, 56, 56, 128)  4224        conv2d_8[0][0]                   
__________________________________________________________________________________________________
conv2d_10 (Conv2D)              (None, 56, 56, 128)  36992       conv2d_8[0][0]                   
__________________________________________________________________________________________________
concatenate_3 (Concatenate)     (None, 56, 56, 256)  0           conv2d_9[0][0]                   
                                                                 conv2d_10[0][0]                  
__________________________________________________________________________________________________
activation_3 (Activation)       (None, 56, 56, 256)  0           concatenate_3[0][0]              
__________________________________________________________________________________________________
max_pooling2d_2 (MaxPooling2D)  (None, 28, 28, 256)  0           activation_3[0][0]               
__________________________________________________________________________________________________
conv2d_11 (Conv2D)              (None, 28, 28, 32)   8224        max_pooling2d_2[0][0]            
__________________________________________________________________________________________________
conv2d_12 (Conv2D)              (None, 28, 28, 128)  4224        conv2d_11[0][0]                  
__________________________________________________________________________________________________
conv2d_13 (Conv2D)              (None, 28, 28, 128)  36992       conv2d_11[0][0]                  
__________________________________________________________________________________________________
concatenate_4 (Concatenate)     (None, 28, 28, 256)  0           conv2d_12[0][0]                  
                                                                 conv2d_13[0][0]                  
__________________________________________________________________________________________________
activation_4 (Activation)       (None, 28, 28, 256)  0           concatenate_4[0][0]              
__________________________________________________________________________________________________
conv2d_14 (Conv2D)              (None, 28, 28, 48)   12336       activation_4[0][0]               
__________________________________________________________________________________________________
conv2d_15 (Conv2D)              (None, 28, 28, 192)  9408        conv2d_14[0][0]                  
__________________________________________________________________________________________________
conv2d_16 (Conv2D)              (None, 28, 28, 192)  83136       conv2d_14[0][0]                  
__________________________________________________________________________________________________
concatenate_5 (Concatenate)     (None, 28, 28, 384)  0           conv2d_15[0][0]                  
                                                                 conv2d_16[0][0]                  
__________________________________________________________________________________________________
activation_5 (Activation)       (None, 28, 28, 384)  0           concatenate_5[0][0]              
__________________________________________________________________________________________________
conv2d_17 (Conv2D)              (None, 28, 28, 48)   18480       activation_5[0][0]               
__________________________________________________________________________________________________
conv2d_18 (Conv2D)              (None, 28, 28, 192)  9408        conv2d_17[0][0]                  
__________________________________________________________________________________________________
conv2d_19 (Conv2D)              (None, 28, 28, 192)  83136       conv2d_17[0][0]                  
__________________________________________________________________________________________________
concatenate_6 (Concatenate)     (None, 28, 28, 384)  0           conv2d_18[0][0]                  
                                                                 conv2d_19[0][0]                  
__________________________________________________________________________________________________
activation_6 (Activation)       (None, 28, 28, 384)  0           concatenate_6[0][0]              
__________________________________________________________________________________________________
conv2d_20 (Conv2D)              (None, 28, 28, 64)   24640       activation_6[0][0]               
__________________________________________________________________________________________________
conv2d_21 (Conv2D)              (None, 28, 28, 256)  16640       conv2d_20[0][0]                  
__________________________________________________________________________________________________
conv2d_22 (Conv2D)              (None, 28, 28, 256)  147712      conv2d_20[0][0]                  
__________________________________________________________________________________________________
concatenate_7 (Concatenate)     (None, 28, 28, 512)  0           conv2d_21[0][0]                  
                                                                 conv2d_22[0][0]                  
__________________________________________________________________________________________________
activation_7 (Activation)       (None, 28, 28, 512)  0           concatenate_7[0][0]              
__________________________________________________________________________________________________
max_pooling2d_3 (MaxPooling2D)  (None, 14, 14, 512)  0           activation_7[0][0]               
__________________________________________________________________________________________________
conv2d_23 (Conv2D)              (None, 14, 14, 64)   32832       max_pooling2d_3[0][0]            
__________________________________________________________________________________________________
conv2d_24 (Conv2D)              (None, 14, 14, 256)  16640       conv2d_23[0][0]                  
__________________________________________________________________________________________________
conv2d_25 (Conv2D)              (None, 14, 14, 256)  147712      conv2d_23[0][0]                  
__________________________________________________________________________________________________
concatenate_8 (Concatenate)     (None, 14, 14, 512)  0           conv2d_24[0][0]                  
                                                                 conv2d_25[0][0]                  
__________________________________________________________________________________________________
activation_8 (Activation)       (None, 14, 14, 512)  0           concatenate_8[0][0]              
__________________________________________________________________________________________________
conv2d_26 (Conv2D)              (None, 14, 14, 1000) 513000      activation_8[0][0]               
__________________________________________________________________________________________________
global_average_pooling2d_1 (Glo (None, 1000)         0           conv2d_26[0][0]                  
__________________________________________________________________________________________________
activation_9 (Activation)       (None, 1000)         0           global_average_pooling2d_1[0][0] 
==================================================================================================
Total params: 1,248,424
Trainable params: 1,248,424
Non-trainable params: 0
__________________________________________________________________________________________________

Process finished with exit code 0

'''
山居秋暝LS
关注
专栏目录
AI大模型应用入门实战与进阶：大模型在医疗影像分析中的应用
AI天才研究院
01-09 1234
1.背景介绍 医疗影像分析是一种利用计算机辅助诊断和治疗疾病的方法，主要通过对医疗影像数据进行处理、分析和挖掘，以提高医疗诊断和治疗的准确性和效率。随着人工智能技术的不断发展，大模型在医疗影像分析中的应用也逐渐成为一种主流方法。这篇文章将从入门级别到进阶级别，详细介绍大模型在医疗影像分析中的应用，包括背景、核心概念、算法原理、具体操作步骤、代码实例、未
复现Dense Extreme Inception Network（pytorch）
如果想成为中心，那么就到中心去吧。
07-10 4428
github地址：https://github.com/xavysp/DexiNed/tree/master/DexiNed-Pytorch 论文地址：https://arxiv.org/abs/1909.01955 数据集：https://www.kaggle.com/xavysp/biped 文章目录
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现
A_John 的博客
05-03 7739
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现； 1、SqueezeNet； 2、SqueezeNet详解； 3、SqueezeNet复现； SqueezeNet 在 ImageNet 上实现与 AlexNet 同等级别的精度，但 参数少了50倍 ； 通过模型压缩技术，实现了 SqueezeNet 模型压缩到小于0.5MB，相比 AlexNet 模型小了510倍 ； 🔗 论文地址：SqueezeNet: AlexNet-level accuracy with 50x fewer...
深度学习方法（七）：最新SqueezeNet 模型详解，CNN模型参数降低50倍，压缩461倍！...
weixin_30767921的博客
03-16 837
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 继续前面关于深度学习CNN经典模型的整理，之前介绍了CNN网络Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning(点击查看)的网络结构。 本文讲一下最新由U...
SqueezeNet模型详解
博观而约取，深研而广求
08-26 7614
关于SqueezeNet为何能够在达到AlexNet精度的基础之上还能够使模型的参数减小巨多的分析详情，参见SqueezeNet这篇文章，本文章的目的是在实际应用中如何引入SqueezeNet。设计基本原则1.使用更小的1*1卷积核来替换3*3卷积核采取了之后例如GoogleNet，ResNet设计中的3*3卷积来代替ALexNet的7*7卷积，然后用了1*1来部分替代上述的3*3卷积。但是由于为了
神经网络模型的压缩及SqueezeNet的应用测试
大数据挖掘SparkExpert的博客
07-03 3203
深度学习已经在很多领域取得了重大突破，然而现有深度学习训练好的模型经常都比较大，如ImageNET或者COCO上面的各种训练模型经常是几百M以上，这对于现有主流的计算机当然没有什么问题，但是对于一些移动设备或者一些硬件层面上的应用可能就比较有难度。因此神经网络压缩也是深度学习研究应用的重要一环。 在微软秦涛的一篇演讲(http://www.msra.cn/zh-cn/news/blogs
总结近期CNN模型的发展(一)
fish的专栏
01-25 5454
1.前言 好久没有更新专栏了,最近因为项目的原因接触到了PyTorch,感觉打开了深度学习新世界的大门.闲暇之余就用PyTorch训练了最近在图像分类上state-of-the-art的CNN模型,正好在文章中总结如下: ResNet [1, 2] Wide ResNet [3] ResNeXt [4] DenseNet [5] DPNet [9] NASNet [10]
深度学习pytorch复现——模型篇——LeNet
weixin_44049693的博客
09-10 1083
title: LeNet mathjax: true date: 2020-09-08 22:26:45 tags: [pytorch, 深度学习,LeNet，CNN ] 有问题请到博客联系 LeNet的介绍及pytorch复现 模型简介 我们常说的LeNet应该是指1998年 LeCun 发表的论文中的LeNet-5，它是CNN卷积神经网络的开山之作，至此之后卷积神经网络遍地开花，各种基于卷积神经网络的巧妙网络结构不断地被创造出来并取得了良好的效果。 输入 输入均为32 *32pixel的黑白色手.
【图像超分】论文复现：Pytorch实现RDN！保姆级复现教程！实现与原论文基本一致的PSNR和SSIM！代码注释详尽！易读易复用！可用于训练自己的数据集！附完整代码和各放大倍数下的最优模型权重文件！
最新发布
畅游计算机视觉的海洋
04-29 2433
论文题目：Residual Dense Network for Image Super-Resolution —— 用于图像超分辨率的残差密集网络【图像超分】论文精读：Residual Dense Network for Image Super-Resolution（RDN）请配合上述论文精读文章使用，效果更佳！虽然论文中为了丰富内容用了很多缩写，并且写的很详细。这对于论文复现者来说是很友好的，尤其是网络结构的实现上，非常清晰。
SqueezeNet详细解读
热门推荐
花有重开日 人无再少年
11-29 5万+
概要：SqeezeNet的工作为以下几个方面： 1. 提出了新的网络架构Fire Module，通过减少参数来进行模型压缩 2. 使用其他方法对提出的SqeezeNet模型进行进一步压缩 3. 对参数空间进行了探索，主要研究了压缩比和$3*3$卷积比例的影响
轻量化网络：SqueezeNet
人工智能技术学习与分享
12-27 2万+
SqueezeNet 发表于ICLR-2017，作者分别来自Berkeley和Stanford，SqueezeNet不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters” 创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ，提出fire module；fire module包含...
SqueezeNet论文笔记
donkey_1993的博客
10-12 2305
SqueezeNet ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 论文下载地址：http://arxiv.org/abs/1602.07360  论文代码：https://github.com/DeepScale/SqueezeNet   SqueezeNet是一个高密小网络。高密小网络...
SqueezeNet网络讲解
急流勇进
03-27 7220
原文地址：https://zhuanlan.zhihu.com/p/31558773 引言 SqueezeNet是Han等提出的一种轻量且高效的CNN模型，它参数比AlexNet少50x，但模型性能（accuracy）与AlexNet接近。在可接受的性能下，小模型相比大模型，具有很多优势：（1）更高效的分布式训练，小模型参数小，网络通信量减少；（2）便于模型更新，模型小，客户端程序容易更新；...
【网络优化】超轻量级网络SqueezeNet算法详解
shenxiaolu1984的专栏
05-20 3万+
本文考察了深度学习中除了精度之外的另一个重要因素：模型大小。给出了一个分类精度接近AlexNet的网络，模型缩小510倍；同时介绍了缩小模型尺寸的设计思想。
【论文学习】SqueezeNet
斯丢劈德的博客
03-11 2098
SqueezeNet于2016年提出，其主要目的是在保证当时已有的模型准确度的同时减少CNN模型中的参数。原文地址：SqueezeNet:AlexNet-Level accuracy with 50X fewer parameters and <0.5MB model size 1. Abstract 在深度卷积神经网络的研究主要的关注点是提升其准确度。在给定准确度水平的条件下，通常可以...
【深度学习】轻量级神经网络 SqueezeNet 讲解
frank 的专栏
12-13 2万+
在深度学习领域，人们一般把注意力集中在如何提高神经网络的准确度上，所以，神经网络的层次越来越深，参数也越来越多，但带来的问题就是神经网络对于硬件的要求越来越高，但在嵌入式硬件上比如手机、自动驾驶的计算平台，这将很吃力，所以，有一些人会将精力放在如何精简和优化网络模型上，以便它们能够比较顺利运行在硬件条件有限的嵌入式设备上面。 而 SqueezeNet 就是一种精简化的轻量级的卷积神经网络结构。 小...
SqueezeNet运用到Faster RCNN进行目标检测+OHEM
FelixFuu的博客
12-17 7932
目录 目录 一SqueezeNet介绍 MOTIVATION FIRE MODULE ARCHITECTURE EVALUATION 二SqueezeNet与Faster RCNN结合 三SqueezeNetFaster RCNNOHEM 原文链接 一、SqueezeNet介绍论文地址：https://arxiv.org/abs/1602.07360 代码地址：https://github.com
FasterRCNN详解
qq_35732321的博客
01-16 8244
FasterRCNN详解1.2.2 FasterRCNN1 模型1.1 主干网络VGG16 or ResNet50.1.2 RPN生成建议框1.3 RCNN进行分类和回归2 预测2.1 预测流程3 训练3.1 训练流程3.2 生成标签3.3 损失函数 1.2.2 FasterRCNN FasterRCNN在FastRCNN的基础上，实现端到端的训练。算法分为3个部分。主干网络提取特征、RPN生成建议框、RCNN进行分类和回归。 FasterRCNN优点： 检测精度高。 RPN网络生成先验框。 通用型、鲁棒
CNN模型压缩与加速策略深度解析
CNN模型压缩与加速算法综述 自AlexNet在2012年ILSVRC ImageNet图像分类竞赛中大放异彩以来，卷积神经网络(CNN)成为计算机视觉领域的主流技术，取代了传统的人工设计特征和分类器。CNN不仅实现了端到端的处理，显著...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值