![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
CNN
文章平均质量分 94
卷积神经网络模型
Clichong
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记 | 分类网络——ConvMixer
如有错误,恳请指出。文章目录1. Introduction2. ConvMixer Model3. Resultpaper:Patches Are All You Needcode:https://github.com/tmp-iclr/convmixer(目前文章还处理盲审阶段)摘要:多年来卷积网络一直是视觉任务的主要架构,但最近的实验表明,基于Transformer的模型,尤其是vision Transformer (ViT),在某些设置下可能会超过它们的性能。然而,为了将 Trans.原创 2021-10-20 16:43:51 · 2333 阅读 · 3 评论 -
论文阅读笔记 | 分类网络——ParNet
如有错误,恳请指出。文章目录1. Introduction2. Related Work2.1 Analyzing importance of depth2.2 Scaling DNNs3. ParNet Method3.1 ParNet Block3.2 Downsampling and fusion block3.3 Network Architecture3.4 Scaling ParNet3.5 Practical Advantages or Parallel Architecures4. R.原创 2021-10-20 10:13:28 · 5040 阅读 · 1 评论 -
轻量级网络——EfficientNetV2
paper链接:EfficientNetV2: Smaller Models and Faster Training官方代码:https://github.com/google/automl/tree/master/efficientnetv2paper核心:针对EfficientNets的不足提出了Fused-MBConv结构,应用训练感知NAS和缩放联合优化模型精度、训练速度和参数大小,还提出渐进性学习方法加快了训练时间。ps:这篇笔记的图片来源与参考资料1.EfficientNetV2介绍原创 2021-06-26 18:26:49 · 3458 阅读 · 0 评论 -
轻量级网络——EfficientNet
paper链接:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks官方代码:https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet原创 2021-06-25 20:57:32 · 3645 阅读 · 3 评论 -
轻量级网络——ShuffleNetV2
回顾:轻量级网络——ShuffleNetV1paper链接:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design关键内容:ShuffleNetV2中提出了一个关键点,之前的轻量级网络都是通过计算网络复杂度的一个间接度量,即FLOPs为指导。通过计算浮点运算量来描述轻量级网络的快慢。但是从来不直接考虑运行的速度。在移动设备中的运行速度不仅仅需要考虑FLOPs,还需要考虑其他的因素,比如内存访问成本(memory原创 2021-06-24 18:19:47 · 28777 阅读 · 16 评论 -
轻量级网络——ShuffleNetV1
文章目录1.ShuffleNetV1的介绍2.ShuffleNetV1的结构1)Channel Shuffle操作2)ShuffleNet基本单元3.ShuffleNetV1的性能统计4.ShuffleNetV1的pytorch实现1.ShuffleNetV1的介绍分组卷积Group convolution是将输入层的不同特征图进行分组,然后采用不同的卷积核再对各个组进行卷积,这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积,可以说是全通道卷积,这是一种通道密集连接方式(cha原创 2021-05-17 19:30:56 · 2172 阅读 · 2 评论 -
轻量级网络——MobileNetV3
文章目录1.MobilenetV3的介绍2.MobilenetV3的结构1)尾部结构改变2)头部channel数量改变3)h-swish激活函数4)加入了注意力机制(SE模块)3.MobilenetV3的性能统计4.MobilenetV3的pytorch实现1.MobilenetV3的介绍回顾MobilenetV1与MobilenetV2结构MobilenetV1:引入了深度可分离卷积作为传统卷积层的有效替代,大大减少计算量。深度可分离卷积通过将空间滤波与特征生成机制分离,有效地分解了传统卷积。原创 2021-05-16 22:23:11 · 22402 阅读 · 4 评论 -
轻量级网络——MobileNetV2
1.MobileNetV2的介绍MobileNet v2网络是由google团队在2018年提出的,相比MobileNet V1网络,准确率更高,模型更小。网络中的亮点 :Inverted Residuals (倒残差结构 )Linear Bottlenecks(结构的最后一层采用线性层)2.MobileNetV2的结构1)Inverted Residuals在之前的ResNet残差结构是先用1x1的卷积降维,再升维的操作。而在MobileNetV2中,是先升维,在降维的操作。所以对于原创 2021-05-16 16:45:01 · 42646 阅读 · 6 评论 -
轻量级网络——MobileNetV1
文章目录1.MobileNetV1的介绍2.MobileNetV1的结构1)DW卷积(Depthwise Conv)2)PW卷积(Pointwise Conv)3)深度可分卷积操作(Depthwise Separable Conv)3.MobileNetV1的性能统计4.MobileNetV1的pytorch实现1.MobileNetV1的介绍传统卷积神经网络, 内存需求大、 运算量大导致无法在移动设备以及嵌入式设备上运行.VGG16的权重大小有450M,而ResNet中152层的模型,其权重模型644原创 2021-05-16 11:20:12 · 5931 阅读 · 7 评论 -
ResNeXt结构的pytorch实现
文章目录1.ResNeXt的介绍2.ResNeXt的实现1)自定义模型结构参考代码2)迁移学习模型结构参考代码1.ResNeXt的介绍ResNeXt是ResNet基础上的改进版本,改进的部分不多,主要将之前的残差结构换成了另外的一个block结构,并且使用了组卷积的概念。性能参数指标可以看见ResNeXt的性能还是有提升的。在计算量相同的情况下,错误率更低普通的卷积假设输入矩阵的channel是Cin,而输出的channel的n,同时kernel size是k,那么卷积所需要的参数是C原创 2021-05-15 17:33:20 · 967 阅读 · 0 评论 -
ResNet结构的pytorch实现
文章目录1.ResNet的创新1)亮点2)原因2.ResNet的结构1)浅层的残差结构2)深层的残差结构3)总结3.Batch Normalization4.参考代码1.ResNet的创新现在重新稍微系统的介绍一下ResNet网络结构。 ResNet结构首先通过一个卷积层然后有一个池化层,然后通过一系列的残差结构,最后再通过一个平均池化下采样操作,以及一个全连接层的得到了一个输出。ResNet网络可以达到很深的层数的原因就是不断的堆叠残差结构而来的。1)亮点网络中的亮点 :超深的网络结构( 突破原创 2021-05-15 00:04:01 · 2302 阅读 · 21 评论