CV综述图像分类整理---目录
图像任务
图像分类
目标检测
OCR任务
图像分割
图像增强
视频任务
CNN
学习CNN
参考资料:
- 关于最近2020年5月1日《CNN EXPLAINER》学习笔记
- 揭开神经网络的面纱—CNN explainer
- <python深度学习> from Francois Chollet 第5.4章
参考blog:
参考论文:
- 2012年NIPS上Alex Krizhevsky发表的AlexNet应该是最早可视化过滤器的文章
- 开山之作 2014年ECCV上Zeiler的《Visualizing and Understanding Convolutional Networks》
- 2016年的CAM 《Learning deep features for discriminative localization》
- 2017年的Grad-CAM 《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》
- 2018年的Grad-CAM++ 《Grad-CAM++: Generalized Gradient-based Visual Explanations for Deep Convolutional Networks》
神经网络可视化
- 可视化CNN中间输出, 激活参数可视化, cnn-explainer
- 可视化CNN过滤器
- 可视化图像中CAM, 类激活热力图 https://github.com/utkuozbulak/pytorch-cnn-visualizations
可视化工具
神经网络复杂度分析工具
- netscope: 用于分析caffe模型
CNN explainer
作者大佬Zijie (Jay) Wang个人博客
论文
传送门:
相关知识
一个很不错的学习网站 跨象乘云
经典CNN backbone
vgg
论文: VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION@20150410
源码:
特点:
- 全部使用33conv和11conv
- conv+bn+relu
Inception module
cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjQ2NjE5NA==,size_16,color_FFFFFF,t_70)
论文: VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION@20150410
源码:
特点:
- 更宽的网络
- GoogleNet参数为500万个
参考博客: 大话CNN经典模型：GoogLeNet（从Inception v1到v4的演进）
Inception V2 module
特点:
任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代。GoogLeNet团队发现在网络的前期使用这种分解效果并不好，在中度大小的特征图（feature map）上使用效果才会更好（特征图大小建议在12到20之间）
Inception V3 — 分解
Inception V4
论文: xception
源码: https://github.com/liuzhuang13/DenseNet
特点:
Inception V4主要利用残差连接（Residual Connection）来改进V3结构
resnet module — shortcut connections
Shortcut Connection
- identity mapping
- residual mapping
论文: Deep Residual Learning for Image Recognition@20151210
Highway Networks
源码: https://github.com/liuzhuang13/DenseNet
特点:
- 超级深
- 模型增加一个identity mapping（恒等映射），将原始所需要学的函数H(x)转换成F(x)+x
扩展：
- 被引用超多，可以集成到所有框架中完成不同任务．
WRN
论文: wide residual networks@20170614
源码:
特点:
- WRN比通常使用的细且深的残差网络有着更好的性能
- 我们研究了一个简单的16层深的WRN网络。这个WRN网络比以前的残差网络（包括上千层的网络）的准确率更高且效率更高
- 相同参数时，宽度比深度好训练
参考博客: WRN 论文笔记
ResNeXt
论文: Aggregated Residual Transformations for Deep Neural Networks
源码:
特点:
- 到这里我们发现ResNeXt和Inception v4是非常像的
- ResNeXt的分支的拓扑结构是相同的，Inception V4需要人工设计；
- ResNeXt是先进行卷积然后执行单位加，Inception V4是先拼接再执行卷积
- ResNeXt确实比Inception V4的超参数更少，但是他直接废除了Inception的囊括不同感受野的特性仿佛不是很合理，在更多的环境中我们发现Inception V4的效果是优于ResNeXt的。类似结构的ResNeXt的运行速度应该是优于Inception V4的，因为ResNeXt的相同拓扑结构的分支的设计是更符合GPU的硬件设计原则。
参考博客:
ResNeXt详解
Densenet
论文: Densely Connected Convolutional Networks@20180128
源码: https://github.com/liuzhuang13/DenseNet
特点:
大量重用特征feature的策略,可以显著减少参数和计算量
网络更窄,参数更少
缺点:
DenseNet其实比ResNet提取特征能力更强，而且其参数更少，计算量（FLOPs）也更少，用于目标检测虽然效果好，但是速度较慢，这主要是因为DenseNet中密集连接所导致的高内存访问成本MAC和能耗. 当输入较大时往往需要更多的显存和推理时间 ,摘自这篇文章
密集连接可能产生特征冗余
VOVnet的提出为了解决densenet问题.
参考博客:
DenseNet算法详解
Deep Pyramidal Residual Networks
论文: Deep Pyramidal Residual Networks
源码: TODO
特点: TODO
参考博客:
卷积神经网络学习路线（十三）| CVPR2017 PyramidNet
VoVNet
查看下方目标检测高效backbone
论文: TODO
源码: TODO
特点: TODO
SEnet: Squeeze-and-Excitation (SE)模块
论文: TODO
源码: TODO
特点:
- SENet网络的创新点在于关注channel之间的关系，希望模型可以自动学习到不同channel特征的重要程度
- 本质上，SE模块是在channel维度上做attention或者gating操作
- channel attention
- 只需要增加较少的计算量就可以带来性能的提升
CSPNET
CSPNET@20191127
论文: Densely Connected Convolutional Networks@20180128
源码: https://github.com/liuzhuang13/DenseNet
特点:
降低计算量,提升CNN学习效果.特征融合的方法.尤其在darknet检测中效果好.
改进了密集块和过渡层的信息流，优化了梯度反向传播路径
能够实现更丰富的梯度组合，同时减少计算量
使用CSPNet可以降低计算量，但是准确率提升很小；在目标检测问题中，使用CSPNet作为Backbone带来的提升比较大，可以有效增强CNN的学习能力，同时也降低了计算量。
参考博客:
YOLOV4论文解读与应用
CSPNet 论文笔记 —跨阶段局部网络
增强CNN学习能力的Backbone:CSPNet
FCN— 适用于图像分类
应用于RFCN ：借用fasterrcnn和FCN
轻量级CNN(参数少)
mobilnet
论文: mobilnet
源码:
特点:
MobileNet中采用深度可分离卷积（depthwise conv+1x1 conv）虽然降低了FLOPs，但是因为额外的1x1卷积而不利于GPU运算效率。
shufflenet by旷视科技
论文: shufflenet
源码:
**特点: **
+ ShuffleNetv2与MobileNetv2在相同的FLOPs下，前者在GPU上速度更快.
+ 所以如果功效一样，尽量采用较少的层.
**参考博客**
[CNN-shufflenet系列论文解读与应用](https://blog.csdn.net/weixin_42466194/article/details/107364049)
googlenet
squeezenet
论文: squeezenet
源码:
特点:
+ squeezeNet虽然比VGG少了50倍的参数量，但是它比VGG能耗更多
+
参考博客:
[图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）
CSPNet 论文笔记 —跨阶段局部网络
增强CNN学习能力的Backbone:CSPNet
tiny-darknet from yolov3
darknet53
darknet19
附加知识
参考博客：
１空洞卷积 dilated conv
2 反卷积 deconv ＝ upsampling
3 Deformable convolution 可变卷积+可变ROI采样
- 使用于目标检测与图像分割任务
目标检测常用CNN-backbone(低能耗,GPU运算效率高)
SSD
-
PeleeNet
论文: Pelee: A Real-Time Object Detection System on Mobile
Devices@20190118
源码:
CAFFE: Robert-JunWang-Pelee
PYTORCH
特点:- Two-Way Dense Layer
- Stem Block: 几乎不增加计算量的情况下提升特征的表达能力
- 瓶颈层设置动态变化的通道数
- 过渡层
- 复合功能
缺点:
- PeleeNet是通过把dense block拆分为更小的dense block实现flops减少的。由此，可以推断把dense block分解为小片段的计算并不利于GPU运算。
参考博客:
这篇文章
CSPNet 论文笔记 —跨阶段局部网络
增强CNN学习能力的Backbone:CSPNet -
Vovnet: OSA module
论文: An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection
源码: 结合refineDet做目标检测
特点:
- VoVNet-27-slim的内存占用、能耗、GPU使用效率都是最高的。
- 可以用于检测模型DSOD，RefineDet和Mask R-CNN,参考VoVNet：实时目标检测的新backbone网络
- 基于VoVNet的目标检测模型性能超越基于DenseNet的模型，速度也更快，相比ResNet也是性能更好。
缺点:
- VoVNet需要更多的计算量以及参数量
参考博客:
[图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）
VoVNet：实时目标检测的新backbone网络 -
Vovnet2 —CenterMask
引入了ResNet的残差连接和SENet的SE模块
论文: An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection
源码: 结合CenterMask做实例分割
特点:
+ VoVNet-27-slim的内存占用、能耗、GPU使用效率都是最高的。
+ 可以用于检测模型**DSOD，RefineDet和Mask R-CNN**,参考[VoVNet：实时目标检测的新backbone网络](https://blog.csdn.net/xiaohu2022/article/details/105318534/#t4)
**缺点:**
+ VoVNet需要更多的计算量以及参数量
**参考博客:**
[[图像分类]论文笔记VovNet（专注GPU计算、能耗高效的网络结构）](https://zhuanlan.zhihu.com/p/79677425)
RefineDet
- 网络框架
- 检测框架
Anchor Refinement Module（ARM）
ARM模块专注于二分类任务
Object Detection Module（ODM）
参考博客:
RefineDet算法笔记
『计算机视觉』物体检测之RefineDet系列
YOLO
- Darknet19 — yolov2
- Darknet53 — yolov3
- 网络框架
- 检测框架
Anchor Refinement Module（ARM）
ARM模块专注于二分类任务
Object Detection Module（ODM）
参考博客:
base model第四弹：专为目标检测设计的DarkNet和VovNet
anchor-free
centermask
fasterrcnn/ maskrcnn
- dcn
论文:
Deformable ConvNets v2: More Deformable, Better Results@20181128
论文用于faster-rcnn和mask-rcnn，提高了在coco2017上的AP，提升了四五个点。
源码：
PyTorch implementation of Deformable ConvNets v2
模型选择
- maskrcnn
1 评价指标：- 损失函数
- Average Precision：准确率
- inference速度：
- 损失函数
- k-means
3279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
