DL-Paper精读：Revisiting ResNets

最新推荐文章于 2024-03-07 14:15:40 发布

星月野

最新推荐文章于 2024-03-07 14:15:40 发布

阅读量595

点赞数 1

分类专栏： paper阅读文章标签：网络人工智能深度学习计算机视觉机器学习

本文链接：https://blog.csdn.net/li6016265/article/details/115842909

版权

影响一个神经网络模型的认知能力的主要因素，可以被粗略的分为以下几个部分：

结构（architecture）：关于网络结构的改进工作，一直以来最受人关注，著名的工作包括：AlexNet，VGG，ResNet，Inception，ResNext等。近两年，一大批基于模型结构自动搜索（NAS）的工作也被提出，包括NasNet，AmoebaNet，EfficientNet等。还有一些引入自注意力机制的工作也较为新颖。
训练及正则方法（Training and Regularization Methods）:训练方法对于网络训练有很重要的作用，常用的方法包括dropout，label smoothing, stochastic depth, data augmentation，以及多种lr schedules。
缩放策略（Scaling Strategies）：对模型尺度（width, depth, resolution）进行缩放同样对模型能力有显著的影响。为了适应不同网络规模的应用场景，近些年关于模型缩放的研究也较多。有一些手动扩增尺度的工作，实现了对ImageNet的高精度检测。而EfficientNet基于自动搜索策略，提出了一种对这三个尺度进行均衡缩放的方式。但本

关注

专栏目录