![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
目标分类网络
文章平均质量分 93
分类网络原理介绍
胖虎记录学习
我很懒,还没有添加简介
展开
-
轻量级网络IGCNets--对组卷积的运用
IGCNet v1论文地址:2017.07《Interleaved Group Convolutions for Deep Neural Networks》IGC(Interleaved Group Convolutions):交错分组卷积前言随着卷积神经网络的不断发展,越来越多的网络结构不断出现,例如MobileNet、shuffleNet等,这些网络结构都是为了进一步提升模型的效果;那么如何提高网络分类的精度呢?提升网络的深度与宽度,即增加网络层数、增加输入输出的特征层通道数原创 2022-05-26 15:58:03 · 831 阅读 · 2 评论 -
轻量级网络FBNet v3
论文地址:FBNetV3: Joint Architecture-Recipe Search using Neural Acquisition Function问题尽管NAS在网路架构方面取得了非常好的结果,比如EfficientNet、MixNet、MobileNetV3等等。但无论基于梯度的NAS,还是基于super net的NAS,亦或基于强化学习的NAS均存在这几个缺陷:忽略了训练超参数,即仅仅关注于网络架构而忽略了训练超参数的影响; 仅支持一次性应用,即在特定约束下只会输出一个模原创 2022-05-24 16:05:29 · 491 阅读 · 0 评论 -
轻量级网络FBNet v2
FBNet v2论文地址: CVPR 2020FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions问题基于 DARTS 的这种可微分的网络结构搜索方法 (Differentiable Neural Architecture Search) :一般是构造一个包含所有候选结构的超图 (super graph),然后从中选一条single path做为最终的网络结构。.原创 2022-05-24 15:26:24 · 377 阅读 · 2 评论 -
轻量级网络FBNet v1
FBNetv1论文地址: CVPR 2019《FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search》问题传统卷积神经网络的设计除了注重准确率之外,还需要兼顾运行性能,特别是在移动设备上的运行性能,这使得卷积神经网络的设计变得更加困难,主要有以下难点:Intractable design space(未知的设计空间),由于卷积网络参数很多,导致设计空间十分复杂原创 2022-05-24 14:34:11 · 391 阅读 · 0 评论 -
NASNet--训练小数据的Cell以减少计算量
NAS的基本原理可以在我之前的那篇博文找到,有着详细的介绍:NAS(神经结构搜索)学习记录论文地址:CVPR 2018 Google Brain《Learning Transferable Architectures for Scalable Image Recognition》1. 背景NAS介绍了如何使用强化学习学习一个完整的CNN网络或是一个独立的RNN单元,这一篇论文是神经网络架构搜索开篇之作NAS的集成和发展,也是由谷歌的Zoph等人提出来的,针对NAS论文中的缺点进行改进,在原创 2022-05-21 10:10:15 · 535 阅读 · 0 评论 -
NAS(神经结构搜索)学习记录
文地址:《Neural Architecture Search: A Survey》问题深度学习卷积神经网络最近得到了很好的发展,由于深度学习可以捕捉到有用的特征,其在图像处理领域取得了很好的效果;然而, 这种效果很大程度上得益于新的神经网络结构的出现,如ResNet、Inception、DenseNet等等。但设计出高性能的神经网络需要大量的专业知识与反复试验,成本极高,限制了神经网络在很多问题上的应用;尽管各种神经网络模型层出不穷,但往往模型性能越高,对超参数的要求也越来越严格,稍有不同就无原创 2022-05-20 10:58:39 · 3845 阅读 · 0 评论 -
轻量级网络EdgeViTs论文翻译
论文地址:https://arxiv.org/abs/2205.03436EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision TransformersEdgeViTs: 轻量级视觉Transformer新工作,可与最好的轻量级CNN在移动设备上竞争!摘要:Self-attention based models such as vision transformers (ViTs) have emerged原创 2022-05-19 15:33:42 · 1387 阅读 · 0 评论 -
轻量级网络MobileNeXt--改进MobileNet v2的逆残差结构
论文地址:ECCV 2020《MobileNeXt: Rethinking Bottleneck Structure for Efficient Mobile Network Design》要点论文针对MobileNetV2的核心模块逆残差结构存在的问题进行了深入分析,提出了一种新颖的SandGlass模块,并用于组建了该文的MobileNeXt架构,SandGlass是一种通用的模块,它可以轻易的嵌入到现有网络架构中并提升模型性能,这种轻量级模块有原生残差块和倒置残差块的影子,是一种正向残差设原创 2022-05-19 10:22:33 · 8062 阅读 · 4 评论 -
轻量级网络MicroNet--低FLOPs的实现:卷积与激活函数的改进
论文地址:《MicroNet: Towards Image Recognition with Extremely Low FLOPs》亮点卷积:稀疏连通性,避免了网络宽度的大幅度缩减;激活函数:动态激活函数,减轻了网络深度缩减。问题这篇论文旨在以极低的计算成本解决性能大幅下降的问题,移动嵌入式设备通常具有较低的性能,因此要在边缘设备上部署深度学习模型,就要求网络模型具有较低计算量,但是低开销的网络通常性能表现不会很好。高效CNN架构的最新进展成功地将ImageNet分类的计算成本原创 2022-05-18 13:59:14 · 974 阅读 · 0 评论 -
轻量级网络GhostNet--对卷积的新设计解决特征图冗余的问题
论文地址:华为诺亚方舟实验室 2020 CVPR《GhostNet: More Features from Cheap Operations》该论文提供了一个全新的Ghost模块,旨在通过廉价操作生成更多的特征图。基于一组原始的特征图,作者应用一系列线性变换,以很小的代价生成许多能从原始特征发掘所需信息的“Ghost”特征图(Ghost feature maps)。该Ghost模块即插即用,通过堆叠Ghost模块得出Ghost bottleneck,进而搭建轻量级神经网络——GhostNet。原创 2022-05-17 10:10:47 · 4750 阅读 · 0 评论 -
WeightNet--在权值空间将SENet和CondConv统一
论文地址:2020 ECCV《Revisiting the Design Space of Weight Networks》预备知识CondConvSENet该论文在权重层面上统一了目前两种有效的网络,SENet和CondConv。SENet是在特征层面进行融合,CondConv则是在卷积核层面进行融合,作者首次探究这两种方法之间的联系,并且基于此提出了一种灵活、高效、简单的卷积核生成网络,有明显的性能提升。Grouped fully-connected operation(Gr..原创 2022-05-16 14:35:22 · 230 阅读 · 0 评论 -
CondConv--动态卷积思想
论文地址:《CondConv: Conditionally Parameterized Convolutions for Efficient Inference》问题常规卷积具有权值共享的特点,即所有的样本共享卷积网络中的卷积参数,因此,若想提升模型的容量,就需要增加网络的深度或者宽度,这会导致模型的计算量和参数量增加,模型部署难度大;然而,在某些cv应用中,要求模型的实时性高,及需要模型拥有较低的参数量和计算量。思想作者提出一种条件参数卷积用于解决上述问题,它通过输入计算卷积核参数打破原创 2022-05-16 13:53:09 · 1633 阅读 · 2 评论 -
在特征通道提升网络性能 --SENet网络详解
论文地址:《Squeeze-and-Excitation Networks》1. 简介SENet是ImageNet 2017(ImageNet最后一届比赛)的 Image Classification 任务的冠军模型,和ResNet的出现类似,都在很大程度上减小了之前模型的错误率,并且复杂度低,新增参数量和计算量小。SENet的全称是Squeeze-and-Excitation Networks,中文可以翻译为压缩和激励网络。SE block并不是一个完整的网络结构,而是一个子结构,可以原创 2022-05-16 11:25:21 · 4189 阅读 · 1 评论 -
轻量级神经网络PeleeNet--对DenseNet的进一步改进
论文地址:《Pelee: A Real-Time Object Detection System on Mobile Devices》文章总体上参考DenseNet的设计思路,提出了三个核心模块进行改进,有一定参考价值。PeleeNet实际上是DenseNet的变体,使用的依然是DenseNet的连接方法,核心的设计原则也和DenseNet相仿(特征重用)。1. Two-Way Dense Layer:如下图所示:左边(a)图是DenseNet中设计的基本模块,其中k、4k代表filte原创 2022-05-12 14:01:11 · 2434 阅读 · 0 评论 -
轻量化网络ChannelNet--channel-wize Conv在channel维度卷积
论文地址:《ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions》亮点:提出了channel-wise卷积概念,将输入输出的维度进行稀疏化连接而非全连接 基于channel-wise深度可分离卷积结构替换网络最后的全连接层+全局池化1. Channel-Wise Convolutions深度可分离卷积能够减少网络的计算量和参数量,其中point-wise原创 2022-05-10 17:15:31 · 1917 阅读 · 2 评论 -
轻量级网络ESPNet系列 空洞卷积简介
空洞卷积(Dilated/Atrous Convolution)相比原来的正常convolution,dilated convolution 多了一个 hyper-parameter 称之为 dilation rate 指的是kernel的间隔数量:a是普通的卷积过程(dilation rate = 1),卷积后的感受野为3 b是dilation rate = 2的空洞卷积,卷积后的感受野为5 c是dilation rate = 3的空洞卷积,卷积后的感受野为7卷积核膨胀是将卷积核扩张到膨原创 2022-05-10 09:53:30 · 3376 阅读 · 0 评论 -
轻量化神经网络CondenseNet--对DenseNet的进一步改进
原文地址:《CondenseNet: An Efficient DenseNet using Learned Group Convolutions》亮点:提出了可学习的分组卷积(Learned Group Convolutions):利用网络压缩技术中的稀疏网络原理,在训练期间根据卷积核的L1值对卷积核进行置零操作; 剪枝:训练一开始就直接对权重做剪枝,而不是对训练好后的模型做剪枝操作,不仅能准确地剪枝,还能继续训练,使网络权重更平滑; 全稠密连接:DenseNet的稠密连接只在相应的blo原创 2022-05-09 10:48:27 · 3341 阅读 · 0 评论 -
轻量级卷积网络DenseNet:密集连接卷积网络
原文地址:CVPR 2017《Densely Connected Convolutional Networks》卷积神经网络如何提高效果:网络做得更深:ResNet,解决了网络深时的梯度消失问题;网络做得更宽:即增加每一层的输入输出通道数,例如GoogleNet的Inception;还有什么方法可以提高网络的效果呢?作者的想法则是从feature map入手,通过对feature的极致利用达到更好的效果和更少的参数,希望网络可以支持百层以上的深度,以减少更多的参数和计算量来实现更高的原创 2022-05-07 15:04:01 · 6044 阅读 · 0 评论 -
轻量级神经网络SqueezeNext--考虑硬件提速
文地址:2018 arXiv《SqueezeNext: Hardware-Aware Neural Network Design》软硬件兼施,神经网络需要大的内存和计算资源是将其部署到嵌入式设备上的最大障碍。整体上来看,神经网络设计的主流趋势是在不考虑计算复杂度的情况下设计更深更大的网络以获取更好的性能。这种设计思路基于嵌入式设备的计算能力和内存会不断发展以支持这些复杂模型的实时运行。但是,由于半导体处理芯片的发展速度缓慢,在有限资源条件下达到上述计算要求貌似不是很现实。因此,出现了两种新的设计思路原创 2022-05-06 13:42:17 · 1035 阅读 · 0 评论 -
网络宽度扩充--Inception v1-v4,xception变式学习记录
Inception v1问题:(图片来自网络,侵删)从左到右:狗占据了图片的大部分,狗占据了图片的一部分,狗仅占据了图片的很小一部分 。由于信息位置的巨大差异,为卷积操作选择合适的卷积核大小就比较困难;信息分布更全局性的图像偏好较大的卷积核,信息分布比较局部的图像偏好较小的卷积核;非常深的网络更容易过拟合。将梯度更新传输到整个网络是很困难的;简单地堆叠较大的卷积层非常消耗计算资源。为什么不能在同一层上采用多个尺寸的过滤器呢?网络本质上会变得更宽(即输入输出特征图chann原创 2022-05-06 10:39:13 · 484 阅读 · 0 评论 -
Network In Network学习记录
论文地址:Network In Network亮点:提出了一种新型的深度网络结构,可以增强模型在感受野(receptive field)对局部区域(local patches)的辨别能力; 全局均值池化层(GAP)代替fc层。NIN(Network In Network):传统的卷积层使用线性滤波器来扫描输入,后面接一个非线性激活函数,得到的输出称作特征图(feature map);因为卷积就是使用卷积核filter与输入平面上的一个个感受野进行向量内积操作。这个卷积是一个广义线性模型(原创 2022-05-05 15:55:40 · 84 阅读 · 0 评论 -
经典卷积神经网络ZFNet--解卷积可视化
论文地址:Visualizing and Understanding Convolutional NetworksZFNet是以两位作者名字的首字母命名的。亮点:提出了ZFNet,一种比AlexNet性能更好的网络架构; 提出了一种特征可视化的方法,并据此来分析和理解网络。ZFNet网络结构:ZFNet的网络架构是在AlexNet基础上修改而来,与AlexNet相比,差异不大:第1个卷积层,kernel size从11减小为7,将stride从4减小为2(这将导致feature ma原创 2022-05-05 14:53:51 · 1194 阅读 · 0 评论 -
轻量级网络SqueezeNet学习记录
SqueezeNet论文地址:SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE目的:在不大幅降低模型精度的前提下,最大程度的提高运算速度。减少模型参数,方便移动端部署。亮点:1、将一部分3x3的filter替换成1x1的filter,以减少参数;2、减少3*3卷积核的输入的channels;3、延迟下采样:在整个网络后期才进行下采样,使得卷积层有比较大的a原创 2022-05-05 14:04:54 · 650 阅读 · 0 评论 -
EfficientNet v2网络学习记录--更小更快
论文地址:2021 CVPR --Google《EfficientNetV2: Smaller Models and Faster Training》亮点:使用训练感知神经结构搜索和缩放的组合,以共同优化训练速度和参数效率;在EfficientNet的基础上,引入了Fused-MBConv到搜索空间中;引入渐进式学习策略、自适应正则强度调整机制使得训练更快;进一步关注模型的推理速度与训练速度。1. 引言论文提出一种训练速度更快、参数量更少的卷积神经网络EfficientNet原创 2022-05-05 11:30:17 · 1292 阅读 · 0 评论 -
经典卷积神经网络-GooogLeNet学习记录
《Going Deeper with Convolutions》GoogLeNet是2014年的ILSVRC的冠军模型,GoogLeNet做了更大胆的网络上的尝试,而不是像vGG继承了LeNet以及AlexNet的一切框架。相比较2年前获胜的Krizhevsky的架构,作者的ILSVRC 2014 GoogLeNet提交方案实际上使用了1/12的参数,但显著地取得了更加高的精确度。VGG使用块代替层的思想,这使得VGG在迁移性方面表现非常好,也因此得到了广泛的应用。而GoogLeNet也使用了基础块原创 2022-04-27 16:57:18 · 493 阅读 · 0 评论 -
轻量化神经网络--MobileNet v2学习记录
MobileNet v2论文原地址:《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 MobileNet v2是从v1网络改进而来的,也是为了部署到移动端设备,因此也是轻量级网络,先简单记录MobileNet v1的一些创新点。Depthwise Separable Convolution(深度可分离卷积):其中的Depthwise C原创 2022-04-29 11:34:59 · 857 阅读 · 0 评论 -
轻量化神经网络--MobileNet v3学习记录
MobileNet v3论文原地址:《Searching for MobileNetV3》该架构在一定程度上是通过自动网络架构搜索(NAS)找到的。1.亮点论文推出两个版本:Large 和 Small,分别适用于不同的场景;使用NetAdapt算法获得卷积核和通道的最佳数量;继承V1的深度可分离卷积与V2的具有线性瓶颈的残差结构;更新block结构:引入SE通道注意力结构;使用了一种新的激活函数hard-swish(x)代替Relu6;使用了Relu6(x + 3)/6来近.原创 2022-04-29 13:18:21 · 1782 阅读 · 0 评论 -
轻量级学习网络--ShuffleNet v1:Group conv的改进与channel shuffle的提出
原文地址:《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》ShuffleNet的设计目标是如何利用有限的计算资源来达到最好的模型精度,这需要很好地在速度和精度之间做平衡。shufflenet通过设计更高效的网络结构来实现模型变小和变快,即通过改变模型结构来方便移动端部署亮点:1. 提出channel shuffle思想2. PW Gconv的使用3. 利用PW Gc原创 2022-04-29 15:11:07 · 1225 阅读 · 0 评论 -
ResNet(残差网络模型)原理解读-包括residual block与BN原理介绍
《Deep Residual Learning for Image Recognition》《Identity Mappings in Deep Residual Networks》ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,通过使用ResNet Unit成功训练出了152层的神经网络,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量比VGGNet低,效果非常突出。ResNet的结构可以极快的加.原创 2022-04-28 12:34:18 · 15883 阅读 · 0 评论 -
轻量级CNN网络高效设计准则-ShuffleNet v2学习记录
原文地址:《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 》ShuffleNetV2 是由国产旷视科技团队在 2018 年提出的,发表在了 ECCV。这篇文章非常硬核,实验非常全面。一些网络模型如MobileNet_v1, v2,ShuffleNet v1, Xception采用了分组卷积,深度可分离卷积等操作,这些操作在一定程度上大大减少了FLOPs,但FLOPs并不是一个直接衡量模.原创 2022-05-04 12:12:59 · 1710 阅读 · 0 评论 -
ResNeXt创新点解析
《Aggregated Residual Transformations for Deep Neural Networks》1.亮点:利用分组卷积,构建一种平行堆叠相同拓扑结构的block;在不明显增加参数的情况下提升了准确率,结构简单,具有更好的通用性。之前的网络模型存在的问题传统的要提高模型的准确率,都是加深或加宽网络,但是随着超参数数量的增加(比如channels数,filter size等等),网络设计的难度和计算开销也会增加。 类似 Inception 系列的网络又存在人为对原创 2022-04-28 13:55:04 · 624 阅读 · 0 评论 -
轻量级网络--MobileNet学习记录
《Efficient Convolutional Neural Networks for Mobile Vision Applications》1.亮点MobileNet是为手机等移动和嵌入式设备提出的高效模型。MobileNets基于流线型架构,使用深度可分离卷积(depthwise separable convolutions,即Xception变体结构)来构建轻量级深度神经网络。介绍了两个简单的全局超参数,可有效的在延迟和准确率之间做折中。这些超参数允许我们依据约束条件选择合适大小的模型。原创 2022-04-28 16:09:54 · 709 阅读 · 0 评论 -
经典卷积神经网络AlexNet原理详细介绍
《ImageNet Classification with Deep Convolutional Neural Networks》这篇文章的网络是在2012年的ImageNet竞赛中取得冠军的一个模型整理后发表的文章。作者是多伦多大学的Alex Krizhevsky等人。AlexNet是由Alex Krizhevsky 提出的首个应用于图像分类的深层卷积神经网络。在这之前,常见的第一个CNN网络结构LeNet5并不被人所熟知,本文所提出的AlexNet才引起了大家对于CNN的注意。在这之后。越来越多更深原创 2022-04-26 11:25:17 · 7786 阅读 · 3 评论 -
经典卷积神经网络-VGG原理
《Very Deep Convolutional Networks for Large-Scale Image Recognition》VGG是2014年Oxford的Visual Geometry Group提出的,其在在2014年的 ImageNet 大规模视觉识别挑(ILSVRC -2014中获得了亚军,第一名是GoogleNet。该网络是作者参加ILSVRC 2014比赛上的作者所做的相关工作,相比AlexNet,VGG使用了更深的网络结构,证明了增加网络深度能够在一定程度上影响网络性能。1原创 2022-04-27 11:57:13 · 39024 阅读 · 0 评论 -
卷积神经网络EfficentNet v1学习记录--Model Scaling
论文地址:《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》亮点:同时探索输入分辨率、网络的深度和宽度的影响深度和宽度是深度神经网络的两个基本维度,分辨率不仅取决于网络,也与输入图片的尺寸有关。深度——神经网络的层数,增加网络的深度(depth)能得到更加丰富、复杂的特征并能够很好地迁移到其他任务,但网络的深度过深会面临梯度消失、训练困难的问题;宽度——每层的通道数(channel),增加网络的.原创 2022-05-04 15:44:35 · 1398 阅读 · 0 评论