hu_yinghui的博客

论文阅读：Squeeze-and-Excitation Networks卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表现力，最近的几种方法显示了增强空间编码的好处。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为SE块。它通过显式建模通道之间的相互依赖关系，自适应地重新校准通道特性响应。我们证明，通过将这些块堆叠在一起，我们可以构建在具有挑战性的数据集上非常通用的SENet架构。

论文阅读：DenseNet：Densely Connected Convolutional Network在本文中，我们介绍了密集卷积网络（DenseNet），它以前馈方式将每一层与每一层连接起来。传统的L层卷积网络在每层及其后续层之间有L个连接，而我们的网络有L（L+1）/2个直接连接。对于每个层，前面所有层的特征图用作输入，而其自身的特征图则用作所有后续层的输入。DenseNets有几个引人注目的优点：它们可以缓解消失梯度问题，加强特征传播，鼓励特征重用，并大大减少参数的数量。

【论文阅读】RepVGG: Making VGG-style ConvNets Great Again提出了一种类似VGG的推理时间体，仅由3×3卷积和ReLU的堆栈组成，而训练时间模型具有多分支拓扑。这种训练时间和推理时间结构的解耦是通过结构重新参数化技术实现的，因此该模型被命名为RepVGG，模型的运行速度比ResNet-50快83%，比ResNet-101快101%，具有更高的精度，与最先进的模型（如EfficientNet和RegNet）相比，显示出良好的精度-速度权衡。

论文阅读：very deep convolution network for large scale image recognition研究了在大规模图像识别环境中卷积网络深度对其精度的影响。我们的主要贡献是使用具有非常小（3×3）卷积滤波器的架构对深度不断增加的网络进行了全面评估，这表明通过将深度提升到16-19个权重层，可以实现对现有技术配置的显著改进。

论文阅读：Going deep with convolutions本文提出了一个名为Inception的深度卷积神经网络体系结构，在ImageNet大规模视觉识别挑战(ILSVRC14)中实现了分类和检测的新水平。这种体系结构的主要特点是提高了网络内部计算资源的利用率。通过精心设计，我们增加了网络的深度和宽度，同时保持计算预算不变。为了优化质量，网络结构决策基于Hebbian原理和多尺度处理的直觉。ILSVRC14提交的文件中被称为GoogLeNet，其质量在分类和检测上下文中进行评估。

论文阅读：ImageNet Classification with Deep Convolutional Neural NetworksImageNet LSVRC2010竞赛中的120万张图像分为1000个不同的类。在测试集上，实现了37.5%和17.0%的top-1和top-5错误率.该神经网络有6000万个参数和65万个神经元，由5个卷积层组成，其中一些层后面是最大池化层，还有3个全连接层，最后是1000softmax。为了提高训练速度，我们使用了非饱和神经元和卷积运算的一个非常高效的GPU实现。

论文阅读：Rethinking the Inception Architecture for Computer Vision本文正在探索通过适当的因式分解卷积和积极的正则化来尽可能有效地利用增加的计算的方法来扩展网络。我们在ILSVRC 2012分类挑战验证集上对我们的方法进行了基准测试，结果显示，我们的方法比目前的技术水平取得了显著的进步:使用计算成本为每个推理50亿次乘法和使用不到2500万个参数的网络进行单帧评估时，top-1和top-5误差分别为21.2%和5.6%。

【论文阅读】Deep Residual Learning for Image Recognition论文实验部分学习笔记：本文提出了一个残差学习框架，以简化网络的训练，这些网络比以前使用的网络更深。我们明确地将层重新表示为参考层输入的学习残差函数，而不是学习未参考函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从深度显著增加中获得精度。

Residual Attention Network for Image Classification 论文实验部分阅读

论文阅读：Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network基于PRNet的联合三维人脸重建和密集对齐