【神经网络框架】论文学习记录

道之衍

已于 2022-05-25 16:29:23 修改

阅读量47

点赞数 1

分类专栏：神经网络结构文章标签：神经网络学习深度学习

于 2022-05-23 15:07:20 首次发布

本文链接：https://blog.csdn.net/qq_20211875/article/details/124855457

版权

神经网络结构专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了深度学习领域的三个重要网络结构：DenseNet鼓励特征图层的复用，SeNet引入通道注意力机制增强特征选择，MobileNet与MobileNetV2则通过深度可分离卷积实现轻量化设计。这些网络在计算效率和性能上取得了显著突破。

摘要由CSDN通过智能技术生成

DenseNet（2016年）

题目：《Densely connected convolutional network》
翻译博客：【DenseNet】Densely Connected Convolutional Networks (2018) 全文翻译_魏晓蕾的博客-CSDN博客
论文原文：https://arxiv.org/pdf/1608.06993.pdf
核心思想：鼓励重复使用特征图层。对于每一个层，它之前层的所有 feature-map 被用作输入，它本身的feature-map 被用作它所有后续层的输入。

SeNet（2017年）

题目：《Squeeze-and-Excitation Networks》
翻译博客：Squeeze-and-Excitation Networks（译）_coyote_xujie的博客-CSDN博客
论文原文：https://arxiv.org/pdf/1709.01507.pdf
核心思想：通道注意力机制。通过Squeeze:全局信息嵌入与 Excitation:自适应重新校正两个操作对各个通道的重要程度进行评分，从而形成channel注意力机制。

MobileNets（2017年）

题目：《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》
翻译博客：深度学习论文翻译解析（十七）：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
论文原文：https://arxiv.org/pdf/1704.04861.pdf
核心思想：深度可分离卷积。优势在于计算量更小、参数更少。深度可分割卷积是一种因式分解卷积，它把标准的卷积分解成一个深度卷积和一个1*1的点卷积。

MobileNetV2（2018年）

题目：《MobileNetV2: Inverted Residuals and Linear Bottlenecks》
翻译博客：MobileNetV2:Inverted Residuals and Linear BottleNecks
论文原文：https://arxiv.org/pdf/1801.04381.pdf
核心思想：深度可分离卷积、倒残差（改进梯度在multiplier层间传播的能力）、线性瓶颈Linear Bottlenecks（解决relu会导致信息丢失、卷积核几乎全为0的情况）