CNN网络结构 - Refining Architectures of Deep Convolutional Neural Networks

最新推荐文章于 2020-06-06 10:20:48 发布
最新推荐文章于 2020-06-06 10:20:48 发布
阅读量1.4k 收藏
点赞数
分类专栏： CVPR 2016 ZJ 深度学习 CNN网络压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cv_family_z/article/details/52957065
版权
深度学习 同时被 3 个专栏收录
105 篇文章 0 订阅
订阅专栏
ZJ
78 篇文章 0 订阅
订阅专栏
CVPR 2016
36 篇文章 0 订阅
订阅专栏

CVPR 2016
Refining Architectures of Deep Convolutional Neural Networks

本文的出发点是回答下面的问题: is the selected CNN optimal for the dataset in terms of accuracy and model size?
针对一个现有的多类别数据集，使用CNN进行分类，那么我们选择的CNN 模型在精度和模型大小上是否是最优的？

Given a pre-trained CNN for a specific dataset, refine the architecture in order to potentially increase the accuracy while possibly reducing the model size

这里我们定义了两个操作方法来调整模型使其最优。

这里写图片描述

Intuition behind our approach: 给定一个数据集，固定网络的深度，怎么最好的区分数据集上的类别？我们的方法首先从一个预训练好的CNN模型开始，然后学习该数据集中所有类在每一个卷积层上的区分度。基于数据集的属性，数据集中某一些类在较低的卷积层区分度较好，另一些类在较低的卷积层区分度则较低。类似的波动在较高的卷积层也可以被发现。和给定层的前一层相比较，该给定层对某些类可以增加区分，对另些类可以降低区分。区分度增加的类的数目和增加该层的神经元个数有关（ stretching / widening）；区分度降低的类的数目和对称切分该层的神经元有关（ symmetric splitting）。所以 stretch and split操作可以同时应用于每一卷积层。stretch 或 split 的多少不仅取决于对当前层类别区分能力的影响，还取决于对其后续层的类别区分度影响。当 stretch and split 的操作固定下来后，我们可以调整网络，在相同的数据集上重新训练。

结果对比：
这里写图片描述

cv_family_z
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CNN综述 A Survey of the Recent Architectures of Deep Convolutional Neural Networks
04-09
CNN综述 A Survey of the Recent Architectures of Deep Convolutional Neural Networks
A Survey of the Recent Architectures of Deep Convolutional Neural Networks.pdf
07-28
Deep Convolutional Neural Networks (CNNs) are a special type of Neural Networks, which have shown state-of-the-art results on various competitive benchmarks. The powerful learning ability of deep CNN is largely achieved with the use of multiple feature extraction stages that can automatically learn hierarchical representations from the data. Availability of a large amount of data and improvements in the hardware processing units have accelerated the research in CNNs, and recently very interesting deep CNN architectures are reported. The recent race in developing deep CNN architectures has shown that the innovative architectural ideas, as well as parameter optimization, can improve the CNN performance on various vision-related tasks. In this regard, different ideas in the CNN design have been explored such as the use of different activation and loss functions, parameter optimization, regularization, and restructuring of the processing units. However, the major improvement in representational capacity of the deep CNN is achieved by the restructuring of the processing units. Especially, the idea of using a block as a structural unit instead of a layer is receiving substantial attention. This survey thus focuses on the intrinsic taxonomy present in the recently reported deep CNN architectures and consequently, classifies the recent innovations in CNN architectures into seven different categories. These seven categories are based on spatial exploitation, depth, multi-path, width, feature map exploitation, channel boosting, and attention. Additionally, it covers the elementary understanding of the CNN components and sheds light on the current challenges and applications of CNNs.
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读1~3
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-08 9014
hardware深度卷积神经网络(CNNs)是一种特殊类型的神经网络，在各种竞争性基准测试中表现出了最先进的性能。深度CNN强大的学习能力很大程度上是由于它使用了多个特征提取阶段(隐含层)，可以从数据中自动学习表示。大量数据的可用性和硬件处理单元的改进加速了CNNs的研究，并且，最近报道了非常有意思的深度CNN架构。最近开发深度CNNs的竞赛表明，创新的架构思想和参数优化可以提高CNN的性能。为此，在CNN的设计中探索了不同的思路，如使用不同的激活和丢失函数、参数优化、正则化以及处理单元的重组。
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
hajungong007的博客
01-21 990
paper There are some challenges faced during the training of deep CNN model; some of which are given below: Deep NN are generally like a black box and thus lack interpretability and explainability....
《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》
03-03
人工智能领域—计算机视觉最新文章观察，2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》67页pdf原文
Differences of grain-refining effect of Sc and Ti additions in aluminum by empirical electron theory analysis (2010年)
04-22
The differences of grain-refining effect between Sc and Ti additions in aluminum, which cannot be substantially explained by traditional theories, were carefully studied. The empirical electron theory...
AO-Refining-App:阿尔比恩炼油计算器
08-04
Albion 在线精炼计算器应用程序 这是我对 Albion Online 游戏精炼计算器的看法 Albion Online 如何进行精炼计算？ 首先，Albion Online 依赖于玩家的规格（专业化）。 从 Tier 4(t4) 到 Tier 8(t8)，您在精炼时会...
论文研究-Refining Graph Partitioning for Community Detection.pdf
08-15
一种改进的社区检测算法，钱铁云，杨洋，图划分是一个传统的问题，用于将节点区分成簇，使得预先定义的目标函数最优。近来，社会网络分析的广泛开展再次吸引了图形聚类方
Stop Asian Hate! Refining Detection of Anti-Asian Hate Speech D
01-04
Stop Asian Hate! Refining Detection of Anti-Asian Hate Speech During the COVID-19 Pandemic_停止亚洲仇恨！2019冠状病毒疾病流行期间反亚裔仇恨言语的检测.pdf
Convolutional Neural Networks in Visual Computing A Concise Guide 无水印原版pdf
01-17
Convolutional Neural Networks in Visual Computing A Concise Guide 英文无水印原版pdf pdf所有页面使用FoxitReader、PDF-XChangeViewer、SumatraPDF和Firefox测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 查看此书详细信息请在美国亚马逊官网搜索此书
Learning Transferable Architectures for Scalable Image Recognition
06-02
Learning Transferable Architectures for Scalable Image Recognition
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2284
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读5~8
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-09 5379
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读第五章~第八章：深度卷积神经网络的最新架构综述更新中……
为你解读7大类深度CNN架构创新综述（附论文）
THU数据派
01-28 1108
来源：机器之心本文约3000字，建议阅读6分钟。本综述将最近的 CNN 架构创新分为七个不同的类别，分别基于空间利用、深度、多路径、宽度、特征图利用、通道提升和注意力。深...
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读第四章
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-08 9840
Pape之DL之CNN：2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》翻译并解读第四章：深度卷积神经网络的最新架构综述更新中……
《Recent Advances in Convolutional Neural Networks》(一)
码农王小呆的博客
12-14 4612
摘要——在过去的一些年里，深度学习在许多类问题上都取得了很好的表现，例如视觉识别，语音识别和自然语言处理。在众多不同类型的深度神经网络中，CNN是被最深入研究的网络。早些年，因为缺少训练数据和电脑计算能力较差，很难在不过拟合的情况下训练一个高性能的CNN。在注释数据大量增长和GPUs快速发展的今天，涌现了许多关于CNN的研究，并在众多任务中取得了state-of-the-art的结果。本文，我们将提
Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling论文阅读
weixin_45459911的博客
06-06 1067
《Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling》论文阅读及补充 文章目录一、Abstractkey word二、Introduction三、网络结构1、传统LSTM2、Deep LSTM四、序列问题1、序列预测2、序列分类3、序列生成4、序列到序列的预测五、对LSTM的补充1、LSTM网络2、LSTM权重3、LSTM门4、LSTM的限制 一、Abstract 1、
transformer-based detector SWINL Cascade-Mask R-CNN
最新发布
03-28
The SWINL Cascade-Mask R-CNN is a state-of-the-art object detection model that is based on the transformer architecture. It is a variant of the popular Mask R-CNN model, which uses a two-stage ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值