【Interview】GoogLeNet、ResNet、ShuffleNet、MobileNet 文字版

最新推荐文章于 2022-05-23 21:02:43 发布

鹿鹿最可爱

最新推荐文章于 2022-05-23 21:02:43 发布

阅读量600

点赞数 1

分类专栏：高频面经文章标签：分类 network resnet

本文链接：https://blog.csdn.net/qq_31622015/article/details/102786825

版权

这篇博客详细介绍了多个深度学习网络架构，包括GoogLeNet的Inception模块和进化，ResNet的残差连接，ShuffleNet的通道shuffle操作，以及MobileNet系列的深度可分离卷积。文章还提到了SENet的squeeze-and-excitation机制和优化的激活函数，以及DPN的高阶RNN结构。最后，探讨了ShuffleNet V2中关于FLOPs和MAC的优化策略。

摘要由CSDN通过智能技术生成

GoogLeNet（Inception-v1）
相比AlexNet和VGG，出现了多支路，引入了1×1卷积帮助减少网络计算量
Inception-v2
引入Batch Normalization(BN)；5×5卷积使用两个3×3卷积代替
Inception-v3
非对称卷积（n×n卷积分割为1×n和n×1两个卷积）;
new pooling （为了防止信息丢失且不增加计算量，把串联的pooling conv 改为并行的conv、pool然后concat）
Label smooth
Inception-v4
引入ResNet的shortcut思想
Xception
Separable Convolution
normal conv (3×3,256)
(1×1,256)
(3×3,1)
ResNeXt
引入新维度cardinality

256d in-(256,1×1,64)-(64,3×3,64)-(64,1×1,256)-sum x-256-d out
→改为→
256d in-(256,1×1,4)*32-(4,3×3,4)*32-(4,1×1,256)*32-concat-sum x-256-d out (32 paths 采用相同的卷积参数）
block depth>3时使用
PreAct ResNet
conv-bn-relu-sum x-relu →改为→ bn-relu-conv-bn-relu-conv-sum x
SENet
x→(c×h×w)→Global pooling(c×1×1)→fc(c/16×1×1)→fc(c×1×1)