CNN网络
文章平均质量分 66
CNN网络论文笔记
Dreamer_Du
这个作者很懒,什么都没留下…
展开
-
ResNet及其变种
本文内容: ResNets 几个ResNet的Identity mapping 方式 WRNs ResNeXt Res2Net ResNet:论文链接:https://arxiv.org/abs/1512.03385CNN网络存在的两个问题:一,vanishing/exploding gradients;深度会带来恶名昭著的梯度弥散/爆炸,...原创 2020-03-08 21:24:53 · 2036 阅读 · 0 评论 -
MobileNetV1、V2、V3总结
内容如下: MobileNetV1,V2,V3总结 补充 MobileNet V1MobileNet v1就是把VGG中的卷积都换成了深度可分离卷积,还有一个不同是采用的是ReLU6,这个激活函数在6的时候有一个边界,论文中提到说这样“可以在低精度计算下具有更强的鲁棒性”。MobileNet V1网络结构如下:MobileNet V2不少学者发现...原创 2020-02-29 18:31:25 · 9467 阅读 · 0 评论 -
GhostNet:More Features from Cheap Operations论文阅读笔记
论文地址:https://arxiv.org/abs/1911.11907阅读笔记: 论文总览 论文图表与内容 补充 论文总览:1、特征图的冗余对于CNNs的成功是一个重要特征,但在神经网络的设计中很少被研究2、轻量化卷积模型的方法主要有两类:一类是模型压缩,一类是小型的模型设计,但是特征映射之间的相关性和冗余...原创 2020-02-27 19:21:18 · 387 阅读 · 0 评论 -
EfficientNet:更小,更快,更准
论文地址:https://arxiv.org/abs/1905.11946笔记内容: 论文总览 论文图表与内容 MBConv 论文总览:1、卷及网络中仔细地平衡网络的宽度、深度和分辨率是一个重要而缺失的环节,使我们无法获得更好的精度和效率2、提出了一种复合比例法,使得baseline网络能有效地扩展,使用更少的参数达到更好的准确率3、使用卷积架构搜索,...原创 2020-02-19 22:00:06 · 944 阅读 · 0 评论 -
FRN+TLU,小batch size训练的福音
论文地址:https://arxiv.org/pdf/1911.09737.pdf论文总览:1、解决的问题:BN(Batch Normalization)在mini-batch尺寸太小的时候会降低训练效果,GN(Group Normalization),Batch Renormalization都在解决这些问题,但是达不到BN在大batch上的表现,或在小batch上表现不佳2、FRN...原创 2020-02-18 21:05:55 · 825 阅读 · 0 评论 -
DropBlock论文阅读笔记
原文地址:https://arxiv.org/pdf/1810.12890.pdf介绍:dropout的主要缺点是将特征随机地丢弃,dropout正则化方法广泛用于全连接层,且效果较好,然而对于卷基层却效果欠佳。原因可能是卷基层的激活单元是空间相关的,所以信息还是会通过卷基层送到下一层。因此,需要一种结构化形式的dropout来对卷积网络归一化——DropBlock,将特征图...原创 2019-01-07 18:28:26 · 1087 阅读 · 0 评论 -
CBAM论文阅读笔记
原文地址:https://arxiv.org/pdf/1807.06521.pdf介绍 CBAM(Convolutional Block Attention Module)卷积块的注意力模块,简单有效,用于前向卷积神经网络。该模块分别从通道和空间维度顺序提供注意力图,用于中间的特征图。CBAM是轻量级且通用的模块,可以整合到任意CNN架构中。CBAM在分类和检测中有不错的表...原创 2018-12-24 11:21:30 · 4536 阅读 · 13 评论