CV领域经典backbone模型小抄(1)

前言

看了那么多cv模型，我也想把一些创新点或者需要注意的地方记下来，方便自己温习。
本文会不断更新…
CV领域经典backbone模型小抄(1)

CV轻量级backbone模型小抄(1)

CV目标检测模型小抄(1)

CV语义分割模型小抄(1)
CV实例分割模型小抄(1)

多模态模型小抄(1)

卷积操作后大小计算 卷积与转置卷积——pytorch

下一篇 CV领域经典backbone模型小抄(2)

模型

timm库也实现了很多模型，可以瞅瞅 rwightman/pytorch-image-models/timm/models

前言，之前其实有LeNet(代码:LeNet_WZMIAOMIAO pytorch)和alexNet(代码:torchvision/models/alexnet.py), 不过他们没有预训练的权重，所以后续大伙其实用得少。因此这里我直接从VGG

VGG

模型结构,看着这个模型我们就能写出代码了。

• 论文: Very Deep Convolutional Networks for Large-Scale Image Recognition
• 代码: WZMIAOMIAO/deep-learning-for-image-processing/VGG
  该代码配有视频讲解: 使用pytorch搭建VGG网络_pytorch_霹雳吧啦Wz
  博客 VGG网络结构详解与模型的搭建_太阳花的小绿豆
  
  

加载时其实可以用torchvision.models定义的类
torchvision官方VGG模型代码: torchvision vgg

from torchvision import models
net = models.vgg16()

googleNet

官方的图， 个人觉得改图不够简化，看起来挺费劲，最好学习一下iFormer的画图方式，整体框架由小模块构成，然后具体再展示小模块的网络层，这样更容易理解（纯属个人喜好）。

• 论文: Going Deeper with Convolution, cvpr2015
• 讲解: GoogLeNet网络详解_霹雳吧啦Wz
• 代码: WZMIAOMIAO/deep-learning-for-image-processing/googlenet

值得一提的是, inception的思想最近一篇文章 iFormer(Inception Transformer)用到transformer上，超越了swin transformer.

resNet

之前自个写过一篇resnet的博客resNet模型论文与实现, 简单复现了resnet，不得不说，resnet相较于googlenet的结构，真的很简单，性能又有一定提升。

• 论文: Deep Residual Learning for Image Recognition cvpr 2016
• 代码: WZMIAOMIAO/deep-learning-for-image-processing/resnet
  代码讲解: 使用pytorch搭建ResNet并基于迁移学习训练_霹雳吧啦Wz

其中代码还附带了 ResNeXt 的代码。( ResNeXt是resnet一个改进版本，网络结构视频讲解可见ResNeXt网络结构), resnext论文 Aggregated Residual Transformations for Deep Neural Networks

shuffleNetV2

shuffleNet视频讲解: ShuffleNet v1 v2理论讲解_霹雳吧啦Wz

• 论文:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
• 代码: WZMIAOMIAO/shuffleNetV2
  
  
  

denseNet

• 论文: Densely Connected Convolutional Networks
• 代码: WZMIAOMIAO/denseNet
  
  
  

efficentNet

• 模型结构讲解: EfficientNet网络详解_霹雳吧啦Wz
• 论文: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
• 代码: WZMIAOMIAO/efficientNet, 代码讲解视频: 使用Pytorch搭建EfficientNet网络_霹雳吧啦Wz
  
  
  

RegNet

cvpr 2020 何恺明组的作品， 但是总感觉这个网络在我看的领域里用得不多(也可能是我这个菜鸡鼠目寸光…)

• 论文：Designing Network Design Spaces
• 代码: WZMIAOMIAO/regNet

efficientNetV2

2021 CVPR, 相比efficientNet-v1，引入了FusedMBConv模块。

• 论文: EfficientNetV2: Smaller Models and Faster Training
• 代码: WZMIAOMIAO/efficientNetV2
• 视频讲解: EfficientNetV2网络详解_霹雳吧啦Wz
  
  
  

ViT

ICLR 2021

相信这篇 vision transformer的NLP同学看到源码会觉得有点亲切的感觉，出现了self-attention模块。

• 论文: An image is worth 16x16 words: Transformers for image recognition at scale
• 模型讲解: Vision Transformer(vit)网络详解_霹雳吧啦Wz
• 代码: WZMIAOMIAO/ViT

RepVGG

简单结构，也有好性能

• 论文: RepVGG: Making VGG-style ConvNets Great Again
• 代码: DingXiaoH/RepVGG
• 模型结构讲解 RepVGG网络讲解_霹雳吧啦Wz, 有篇推送也是讲这个 RepVGG简介
  
  
  

Swin Transformer

模型结构:

为了快速实现移动窗口机制， 作者非常巧妙了设计了掩码机制来实现这个操作。

几个可选规格的模型架构:

这个也是基于transformer的backbone模型，亮点在于移动窗口注意力机制以及层次结构。

• 论文: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
• 代码: WZMIAOMIAO/Swin Transformer, 代码讲解 使用Pytorch搭建Swin-Transformer网络_霹雳吧啦Wz
• 模型讲解: Swin-Transformer网络结构详解_霹雳吧啦Wz, 需要对PatchMerging和WindowAttention弄明白， 看代码才不会犯晕

ConvNeXt

模型block对比图

本文主要是有很多训练策略的提出。

• 论文: A ConvNet for the 2020s
• 代码: WZMIAOMIAO/ConvNeXt
• 模型视频讲解: ConvNeXt网络讲解_霹雳吧啦Wz

这篇公众号文章觉得不错 ConvNeXt：手把手教你改模型

MLP-Mixer

没有CNN的全连接构成的模型。
MLP-Mixer: An all-MLP Architecture for Vision
NIPS2021 MLP-Mixer NIPS2021
代码: https://github.com/lucidrains/mlp-mixer-pytorch