qq_41917697的博客

CNN卷积神经网络之ConvNeXt前言改进内容1 训练技巧2 宏观设计3 ResNeXt-ify4 Inverted Bottleneck5 Large Kernel Sizes67前言《A ConvNet for the 2020s》论文地址：https://arxiv.org/abs/2201.03545pytorch代码：https://github.com/facebookresearch/ConvNeXt最近Transfomer在CV领域大放异彩，颇有一种要碾压CNN的气势。但是作者觉

CNN卷积神经网络之EfficientNet V2前言EfficientNetV1中存在的问题NAS 搜索网络结构前言《EfficientNetV2: Smaller Models and Faster Training》论文地址：https://arxiv.org/abs/2104.00298EfficientNetV2这篇文章是在2021年发布的，刚出来没多久我就看了，不过现在才有时间整理一下。EfficientNetV2在V1上做了一些改进，先看一下性能对比：(21k)表示是经过Image

CNN卷积神经网络之RegNet前言设计思路AnyNet设计空间网络结构实验结果消融实验结论前言《Designing Network Design Spaces》论文地址：https://arxiv.org/pdf/2003.13678.pdf代码：https://github.com/facebookresearch/pycls何恺明团队在CVPR 2020上发布的论文，提出了RegNet。在相同的训练设计和FLOPs的条件下，RegNet的精度超越了之前最SOTA的EfficientNet，

CNN卷积神经网络之Res2Net和Res2NetPlus前言Res2Net module集成Dimension cardinality和SE block实验结果Res2NetPlus前言《Res2Net: A New Multi-scale Backbone Architecture》论文地址：https://arxiv.org/pdf/1904.01169.pdf面向视觉任务的多尺度表示对于目标检测、语义分割和显著目标检测任务具有重大意义。通过CNN新模块Res2Net，能够实现与比以往优秀的

CNN卷积神经网络之ResNeSt前言ResNeSt Block实验结果代码前言《ResNeSt: Split-Attention Networks》论文地址：https://arxiv.org/pdf/2004.08955.pdf这篇文章是李沐团队的投2020ECCV的，但是收到了strong reject。整个网络的性能还是很棒的，但是审稿人觉得创新性不够：“It more likes to combine ResNeXt-D and SKNet together and do not int

CNN卷积神经网络之SKNet及代码前言SK Convolution细节网络结构实验结果代码《Selective Kernel Networks》论文地址：https://arxiv.org/pdf/1903.06586.pdf前言CVPR2019 SKNet是SENet的加强版，是attention机制中的与SE同等地位的一个模块，可以方便地添加到现有的网络模型中，对分类问题，分割问题有一定的提升。如果不清楚SENet的，可以先看一下CNN卷积神经网络之SENetSK Convolution

轻量级网络之CondenseNetCondenseNet: An Efficient DenseNet using Learned Group Convolutions2018CVPR的网络，文章的贡献从名字就能清晰明了的Get。利用可学习分组卷积，对DenseNet的进行轻量化改造。首先看一下是如何替换网络中的普通卷积：A是原来的卷积，在B中被替换成分组卷积，其中1x1的分组卷积是可以学习分组的；注意在1x1分组卷积前多插入了一层Permute，作者想要在DenseNet的卷积操作中引入group

轻量级网络之GhostNet前言动机Ghost模块G-bneckGhostNet网络结构实验性能消融实验Ghost模块 pytorch代码欢迎交流，禁止转载！！前言《GhostNet: More Features from Cheap Operations》论文地址：GhostNet: More Features from Cheap Operations来自华为诺亚方舟实验室，发表于2020年的CVPR上。提供了一个全新的Ghost模块，旨在通过廉价操作生成更多的特征图。该Ghost模块即插即用

轻量级网络之MixNet前言卷积核尺寸MixConv消融实验MixNet网络结构性能总结欢迎交流，禁止转载！！前言《MixConv: Mixed Depthwise Convolutional Kernels》论文地址：https://arxiv.org/pdf/1907.09595.pdf2019年谷歌使用AutoML，推出的新网络MixNet。动机：深度可分离卷积在轻量级网络中越来越流行，但是都采用一样大小的深度可分离卷积核，卷积核的尺寸被忽略了。作者系统地研究了不同卷积核尺寸的影响，并且

轻量级网络之MobileNet v3前言手工改进部分网络结构实验对比前言《Searching for MobileNetV3》论文地址：https://arxiv.org/abs/1905.022442019年谷歌提出的，MobileNet V3本质上是对MnasNet的手工改进,下图是整个改进的过程：性能还是不错：以MnasNet-A1作为起点，使用NetAdapt对其进行优化(NetAdapt是一种算法，可自动简化预训练模型，直到达到给定的延迟，同时保持较高的准确性）。 除此以外，作者

轻量级网络之ShuffleNet v2及pytorch代码前言评价指标四个原则优化网络结构欢迎交流，禁止转载！！前言《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design》论文地址：https://arxiv.org/pdf/1807.11164v1.pdf之前人们提出了很多轻量级的网络MobileNet V1 V2 和ShuffleNet V1等，但是可以发现参数量少≠运算速度快，这跟硬件以及计算方式有

轻量级网络之ShuffleNet v1前言ShuffleNet Units计算量网络结构实验对比Shuffle的具体实现小结前言《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》论文地址：https://arxiv.org/pdf/1707.01083.pdf这是旷世（Face++）2018年发表在了CVPR上的文章，ShuffleNet_v1在MobileNet_v1后，Mobil

轻量化网络之Xception

轻量级网络之MobileNet v2前言Inverted ResidualsLinear Bottlenecks网络结构网络性能前言《MobileNetV2: Inverted Residuals and Linear Bottlenecks》论文地址：https://arxiv.org/pdf/1801.04381.pdfMobileNetV1是借鉴了VGG的结构，而MobileNetV2就借鉴了ResNet的结构。一些在MobileNet V1中介绍过的就不再V2中重复介绍了。从论文名字上，就

轻量级网络之MobileNet v1前言深度可分离卷积 Depthwise Separable Convolution参数量计算量网络结构模型缩放模型性能前言《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application》论文地址：https://arxiv.org/pdf/1704.04861.pdfMobileNet v1是2017年四月google推出的，通过设计模型结构来减少模型的参数。整个

CNN卷积神经网络之SqueezeNet 轻量型网络前言压缩模型的优点压缩的策略网络结构Fire Module总体架构性能比较前言《SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE》论文地址：https://arxiv.org/pdf/1602.07360.pdf从题目上来看就知道这篇文章的主要卖点了，与AlexNet比较，参数量减少了性能还能差不多。但是感觉有夸大的作用，因为

可变形卷积网络Deformable ConvNets V1、V2前言一、Deformable Convolutional NetworksDeformable ConvolutionDeformable RoI PoolingPosition-Sensitive (PS) RoI Poolingoffset偏移学习实验效果思考二、Deformable ConvNets v2Stacking More Deformable Conv LayersModulated Deformable ModulesR-CN

CNN卷积神经网络之EfficientNet前言设计方法和对比实验网络结构小结前言《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》论文地址：https://arxiv.org/pdf/1905.11946.pdf这是2019年的一篇炼丹的单方，给出了从深度、宽度、分辨率三个维度的设计方案。以往的网络设计通常是依靠提升一个方面来提升性能，而EfficientNet是三者复合的方式提升网络性能，在NAS搜

CNN中各种卷积Convolution介绍1.Conv1d 2d 3d2.空间可分离卷积Separable convolution扁平卷积Flattened convolutions3.分组卷积Group Conv混合分组卷积Shuffled Grouped Convolution4.深度可分离卷积Depthwise Separable ConvDepthwise ConvolutionPointwise Convolution5.空洞卷积(扩张卷积)Dilated Convolutions6.反卷积（转置

CNN卷积神经网络之ResNeXt前言前言《Aggregated Residual Transformations for Deep Neural Networks》论文地址：https://arxiv.org/abs/1611.054312017CVPR上的论文，ResNeXt是ResNet和Inception的结合体，因此你会觉得InceptionV4有些相似，但却更简洁。...

CNN卷积神经网络之SENet未经本人同意，禁止任何形式的转载！一、前言二、SE block细节SE block的运用实例模型的复杂度三、消融实验1.降维系数r2.Squeeze操作3.Excitation操作4.不同的stages5.集成策略四、SE block作用的分析五、SENET-154的一些细节*未经本人同意，禁止任何形式的转载！一、前言《Squeeze-and-Excitation Networks》论文地址：https://arxiv.org/abs/1709.01507.SENe

CNN卷积神经网络之DenseNet前言网络结构结果总结分析未经本人同意，禁止任何形式的转载！前言《Densely Connected Convolutional Networks》论文地址：https://arxiv.org/abs/1608.06993.DenseNet当选了CVPR 2017年的Best Paper，受到ResNet和随机深度网络Deep networks with stochastic depth(随机地drop一些层，可以提高 ResNet 的泛化性能)的启发。1）神

CNN卷积神经网络之Inception-v4（Inception-ResNet）前言pandas是什么？二1.引入库总结未经本人同意，禁止任何形式的转载！前言《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》论文地址：https://arxiv.org/abs/1602.07261.在15年ResNet 提出后，2016年Inception汲取ResNet 的优势，推出了Incep

CNN卷积神经网络之ResNet前言神经网络的“退化”问题残差块(Residual Block)网络结构Residual Block的分析与改进*理解与反思未经本人同意，禁止任何形式的转载！前言《Deep Residual Learning for Image Recognition》论文地址：https://arxiv.org/pdf/1512.03385.pdf.2014年VGG达到19层，GoogLeNet达到22层，就算是15年Incepetion V2 42层，V3 44层，但res

CNN卷积神经网络之GoogLeNet（Incepetion V1-V3）GoogLeNet（Incepetion V1）前言网络结构1.Inception module2.整体结构运用的方法1.2.Incepetion V2网络结构运用的方法1.2.Incepetion V3网络结构运用的方法1.2.总结GoogLeNet（Incepetion V1）《Going deeper with convolutions》论文地址：http://arxiv.org/abs/1409.4842.前言Go

CNN卷积神经网络之VGGNet前言网络结构运用的方法1.多尺度训练2.稠密和多裁剪图像评估对比3.小卷积核和连续的卷积层*4.dropout5.尺寸大小和通道数总结前言《Very Deep Convolutional Networks for Large-Scale Image Recognition》论文地址： https://arxiv.org/abs/1409.1556.该网络是在ILSVRC 2014上的相关工作，ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet），2

CNN卷积神经网络之ZFNet与OverFeat前言一、ZFNet网络结构反卷积可视化1.反最大池化(Max Unpooling)2.ReLu激活3.反卷积二、OverFeat1.引入库2.读入数据总结前言这两个网络都是在13年提出的，都是在AlexNet上稍微改进的，所以就写在了一起，也方便对比。一、ZFNet《Visualizing and Understanding Convolutional Networks 》论文地址：https://arxiv.org/pdf/1311.2901.

CNN卷积神经网络之AlexNet前言网络结构运用的方法1.ReLU非线性单元激活函数2.在多个GPU上训练3.局部响应归一化4.重叠池化5.数据增强（防止过拟合）6.Dropout（防止过拟合）7.训练策略8.初始化代码前言《ImageNet Classification with Deep Convolutional Neural Networks》作者：Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton地址：https://papers.n