论文笔记
坚硬果壳_
坦然接受自己的平庸并保持努力。
展开
-
轻量级网络:DenseNet
目录InsightDenseNetResNetsDense connectivityComposite functionPooling layersGrowth rateBottleneck layersCompression实验架构Classification Results on CIFAR and SVHNAccuracyCapacityParameter EfficiencyOverfittingClassificatio...原创 2020-08-04 09:31:13 · 1649 阅读 · 0 评论 -
CNN经典网络:LeNet、AlexNet、NIN、VGG
LeNetCNN的开山之作,是LeCun在98年解决手写是数字识别任务时提出的,从那时起CNN的基本架构就定下来了:卷积、池化、全连接层。网络结构如图 3.1 所示,最早的 LeNet 有 7 层网络,包括 3 个卷积层, 2 个池化层,2 个全连接层,其中输入图像的尺寸是 32x32。 C1 层为卷积层,有 6 个 5*5 的卷积核,原始图像送入卷积层,因此生成了6 个(32-5+1) x(32-5+1) =28x28 的 feature map, 这一层需要训练的参数为(5x5+1)原创 2020-08-03 20:36:42 · 1549 阅读 · 0 评论 -
轻量级网络:MixNet
MixNet是谷歌新出的一篇关于轻量级网络的文章,主要工作的重点就在于探索不同大小的卷积核的集合,这是因为:小的卷积核感受野小,参数少,但是准确率不高 大的卷积核感受野大,准确率相对略高,但是参数也相对增加了很多于是谷歌提出了一种新的混合深度分离卷积(MDConv)(mixed depthwise convolution),将不同的核大小混合在一个卷积运算中,并且基于AutoML的搜索空间,提出了一系列的网络叫做MixNets,结果比目前所有的轻量级网络都要好,在ImageNet上Top1比Mob.原创 2020-08-03 17:34:48 · 3639 阅读 · 0 评论 -
卷积层提速:Design of Efficient Convolutional Layers
Wang, Min, Baoyuan Liu, and Hassan Foroosh. “Factorized Convolutional Neural Networks.”本文着重对深度网络中的卷积层进行优化,独特之处有三:- 可以直接训练。不需要先训练原始模型,再使用稀疏化、压缩比特数等方式进行压缩。- 保持了卷积层原有输入输出,很容易替换已经设计好的网络。- 实现简单,可以由经典卷积层组合得到。使用该方法设计的分类网络,精度与GoogLeNet, ResNet-18, VGG-16..原创 2020-08-03 16:45:44 · 515 阅读 · 0 评论 -
轻量级网络:NetAdapt算法
《NetAdapt:Platform-Aware Neural Network Adaptation for Mobile Applications》这篇文章提出了一种新的网络压缩算法NetAdapt,它使用一个预训练好的模型在固定计算资源的手机平台上进行压缩试验,直接采集压缩之后的性能表现(计算耗时与功耗,文章称其为direct metrics)作为feedback,得到一系列满足资源限制、同时最大化精度的简化网络。实验结果表明,与目前最先进的自动网络简化算法相比,NetAdapt在移动CPU和移动.原创 2020-07-31 17:12:36 · 2127 阅读 · 3 评论 -
轻量级网络:Squeeze-and-Excitation Networks
Squeeze-and-Excitation Networks(SENet)是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构,它通过对特征通道间的相关性进行建模,把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军,top5的错误率达到了2.251%,比2016年的第一名还要低25%,可谓提升巨大。 Squeeze-and-Excitation(SE) block并不是一个完整的网络结构,而是一个子结构,可以嵌到其他分类或检测模型中 SENet的核心思想在..原创 2020-07-30 18:22:47 · 1114 阅读 · 0 评论 -
轻量级网络:ResNeXt
目录insightMethodTemplateRevisiting Simple NeuronsAggregated TransformationsModel CapacityExperimentsExperiments on ImageNet-1KCardinality vs. WidthIncreasing Cardinality vs. Deeper/WiderResidual connectionsComparisons with state-o...原创 2020-07-26 21:56:21 · 2132 阅读 · 0 评论 -
轻量级网络:MnasNet
目录概要Problem FormulationMobile Neural Architecture SearchFactorized Hierarchical Search SpaceSearch AlgorithmExperiment SetupResultsImageNet Classification PerformanceModel Scaling PerformanceCOCO目标检测表现Ablation Study and DiscussionS.原创 2020-07-26 00:13:43 · 4445 阅读 · 0 评论 -
NASNet
前言此论文是一开始发表于ICLR2017,后来转投与CVPR2017,又是Google Brain的一篇著作。论文是在之前的一篇论文NAS–Neural Architecture Search With Reinforcement Learning的基础做了突破性的改进,使得能让机器在小数据集(CIFAR-10数据集)上自动设计出CNN网络,并利用迁移学习技术使得设计的网络能够被很好的迁移到大数据集(ImageNet数据集),同时也可以迁移到其他的计算机视觉任务上(如目标检测)。之前的研究表明,网络原创 2020-07-25 14:25:59 · 449 阅读 · 0 评论 -
轻量级网络:EfficientNet
Intrudoction在论文中,作者介绍了放大卷积神经网络是一种常见的提高模型准确率的方法。但是在传统的方法中,通常只是在某单一维度上进行放大(宽度width,深度depth,图片分辨率resolution),宽度就是网络中的过滤器的数量,因为增加了过滤器的数量,该层的输出的通道数就相应变大了,深度可以理解为整个网络结构的长度,及时网络中layer的数量。那么为什么在这几个维度上进行放大可以提高准确率?因为增加了图片的分辨率或增加了网络的宽度,网络就能够捕获到更过细节的特征,而增加网络的深度能够捕获到转载 2020-07-24 21:46:55 · 2428 阅读 · 0 评论 -
轻量级网络:ShuffleNet V2
ShuffleNet V2受启发于ShuffleNet V1,但并不局限于此,作者为轻量级网络的设计提出了一个新的直接指标和衡量标准,并通过一系列实验,对未来轻量级网络模型的设计提供了四点重要的思路和指导方针,最后在ShuffleNet V1的基础上进行了改进,结合四点指导方针,完成了ShuffleNet V2的构建。Motivation作者首先分析了现有的很多轻量级网络,例如MobileNet V2,ShuffleNet V1等,认为这些网络模型在设计和评估测试阶段,过于迷信FLOPs(每秒浮.转载 2020-07-22 21:53:27 · 760 阅读 · 0 评论 -
轻量级网络:Xception
Xception是google继Inception后提出的对Inception v3的另一种改进,主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。Xception在参数量上同Inception V3基本等同, 在Imagenet上的表现二者也很接近(在另一个更大规模的Google私有数据集JFT上,Xception的优势要稍微明显些)。网络结构其中, SeparableConv是一种depthwise convoluti.原创 2020-07-22 15:07:43 · 1002 阅读 · 0 评论 -
GoogLeNet系列论文
GoogLeNet Incepetion V1这是GoogLeNet的最早版本,出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。Motivation深度学习以及神经网络快速发展,人们不再只关注更给力的硬件、更大的数据集、更大的模型,而是更在意新的idea、新的算法以及模型的改进。一般来说,提升网络性能最直接的办法就是增加网络深度和宽度,即增加隐层和以及各层神经元原创 2020-07-21 20:44:00 · 2906 阅读 · 0 评论 -
轻量级网络:PVAnet
目录摘要介绍PVANet特征提取网络改进的C.ReLUInception结构深层网络训练整体设计目标检测网络实验结果ImageNet预训练VOC2007VOC2012论文链接:http://arxiv.org/pdf/1608.08021Github:https://github.com/sanghoon/pva-faster-rcnnC++ Demo:https://github.com/baiyancheng20/PVANet-Demo.原创 2020-07-21 16:15:23 · 958 阅读 · 0 评论 -
轻量级网络--ShuffleNet论文解读
摘要论文介绍一个效率极高的CNN架构ShuffleNet,专门应用于计算力受限的移动设备。新的架构利用两个操作:逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle),与现有先进模型相比在类似的精度下大大降低计算量。在ImageNet和MS COCO上ShuffleNet表现出比其他先进模型的优越性能。Introduction现许多CNNs模型的发展方向是更大更深,这让深度网络模型难以运行在移动设备上,针对这一问题,许多工作的重点放在对现原创 2020-07-21 13:42:26 · 1600 阅读 · 0 评论 -
SqueezeNet:论文笔记
目录动机model设计策略fire模块网络结构其他细节网络评估CNN微架构设计空间探索元参数压缩比SR滤波器大小的权衡CNN宏架构设计空间探索动机更有效地分布式训练:通信开销一般与参数量成正比,训练更快往往需要更小的通信量。 将新模型导出到客户端时开销更小:自动驾驶汽车的无线更新。 FPGA与嵌入式设备的部署更加灵活:更小的模型可以直接存储到芯片上。model设计策略主要包含以下三个策略:使用1*1的filter代替3*3,参...原创 2020-07-18 21:10:09 · 190 阅读 · 0 评论 -
MobileNet系列论文——MobileNet V3
MobileNetV3MobileNetV3主要使用了网络搜索算法(用NAS通过优化每个网络块来搜索全局网络结构,用NetAdapt算法搜索每个层的滤波器数量),同时在MobileNet V2网络结构基础上进行改进,并引入了SE模块以及H-Swish激活函数。创新点: 互补搜索技术组合:由资源受限的NAS执行模块级搜索,NetAdapt执行局部搜索。 网络结构改进:SE模块;将最后一步的平均池化层前移并移除最后一个卷积层,引入h-swish激活函数。 上面两张图...原创 2020-07-17 20:21:00 · 2185 阅读 · 0 评论 -
MobileNet系列论文——MobileNet V2
原文地址:MobileNetV2Abstract本文提出了一种新的移动架构MobileNetv2,改善了多个任务和基准的State-of-the-art水平。同时我们介绍了一种基于此框架的面向目标检测任务的有效应用模型SSDLite。此外,我们介绍了简化移动语义分割模型Mobile DeepLabv3.MobileNetv2架构是基于倒置残差结构(inverted residual structure),原本的残差结构的主分支是有三个卷积,两个逐点卷积通道数较多,而倒置的残差结构刚好相反,中间的转载 2020-07-03 17:50:19 · 1410 阅读 · 0 评论 -
MobileNet系列论文——MobileNet V1
1.MobileNet V1这篇论文是谷歌在2017年提出的,专注于移动端或者嵌入式设备中的轻量级CNN网络。该论文最大的创新点是,提出了深度可分离卷积(depthwise separable convolution)。首先,我们分析一下传统卷积的运算过程,请如下动图或者这篇博客。可以看出,传统卷积分成两步,每个卷积核与每张特征图进行按位相成然后进行相加,此时,计算量为DF∗DF∗DK∗DK∗M∗N,其中DF为特征图尺寸,DK为卷积核尺寸,M为输入通道数,N为输出通道数。然后,重点介绍.转载 2020-06-16 23:03:19 · 640 阅读 · 0 评论