Bag of Tricks for Image Classification with Convolutional Neural Networks笔记

最新推荐文章于 2024-09-18 12:22:14 发布
最新推荐文章于 2024-09-18 12:22:14 发布
阅读量126 收藏
点赞数
文章标签： 人工智能
原文链接：http://www.cnblogs.com/marsggbo/p/11459951.html
版权

以下内容摘自《Bag of Tricks for Image Classification with Convolutional Neural Networks》。

1 高效训练

1.1 大batch训练

当我们有一定资源后，当然希望能充分利用起来，所以通常会增加batch size来达到加速训练的效果。但是，有不少实验结果表明增大batch size可能降低收敛率，所以为了解决这一问题有人以下方法可供选择：

1.1.1 线性增加学习率

一句话概括就是batch size增加多少倍，学习率也增加多少倍。

例如最开始batch size=256时， lr=0.1。后面batch size变成b后，lr=\(0.1\times \frac{b}{256}\)

1.1.2 学习率warmup

在训练最开始，所有的参数都是随机初始化的，因此离最终的解还需要很多次迭代才能到达。一开始使用一个太大的学习率会导致不稳定，所以可以在最开始使用一个很小的学习率，然后逐步切换到默认的初始学习率。

例如我们可以设定在前面100个batch学习率由0线性增加到默认初始值0.1，也就是说每个batch学习率增加0.001

1.1.3 \(\gamma=0\) for BN layer

现在很多网络结构中都会用到BatchNorm层，而我们知道BN层会对数据作如下操作：

1.标准化输入： \(\hat{x_1}=\text{standardize}(x)\)
2.伸缩变换(scale transformation): \(\hat{x_2}=\gamma\hat{x_1}+\beta\)

上面步骤中的\(\gamma,\beta\)都是可学习的参数，分别初始化为0,1。

原文解释这样做的好处如下（没太懂什么意思，懂得麻烦解释一下）：

Therefore, all residual blocks just return their inputs, mimics network that has less number of layers and is easier to train at the initial stage.

1.1.4 No bias decay

意思就是我们可以weight decay，但是不用做bias decay。

1.2 低精度训练

P. Micikevicius,et al. Mixed precision training.中提出将所有的参数和激活值用FP16存储，并且使用FP16来计算梯度。另外，所有的参数都需要一份FP32的拷贝用来做参数更新。另外将loss乘上一个标量以便求得的梯度范围可以与FP16对齐。

2. 模型设计Trick

下面以ResNet为例进行介绍有哪些模型设计的Trick。

下图示何凯明提出的ResNet的示意图，可以看到主要由三部分组成：

  • input stem：主要是先用一个7*7的卷积核，后接一个最大池化
  • stage2-4：每个stage最开始是先用下采样模块对输入数据维度做减半操作，注意不是直接使用池化，而是通过设置卷积stride=2实现的。下采样之后后接若干个残差模块。
  • output：最后接上预测输出模块

ikyf7dhzwr.png

下面介绍一下可以对上面的ResNet做哪些魔改：

  • input stem改！

可以看到主要将7*7的卷积核改成了3个3*3的卷积核，这样效果类似，而且参数更少。

image.png

  • stage中的down sampling部分的Path A和Path B都可以改：
    • Path A：将stride=2从原来的1*1卷积核部分改到了3*3卷积核内
      image.png
    • Path B：该条路径只有一个卷积操作，没法像上面那样，所以加入了一个池化层。
      image.png

实验结果：

Model#paramsFLOPsTop-1Top-5
ResNet-5025 M3.8 G76.2192.97
ResNet-50-B25 M4.1 G76.6693.28
ResNet-50-C25 M4.3 G76.8793.48
ResNet-50-D25 M4.3 G77.1693.52

3. 训练Trick

3.1 Cosine learning rate decay

计算公式如下：

\[ \eta_{t}=\frac{1}{2}\left(1+\cos \left(\frac{t \pi}{T}\right)\right) \eta \]
其中\(\eta\)是初始化学习率。

示意图如下：

image.png

3.2 label smoothing

这个方法我在之前的一个项目中用过，但是感觉没什么效果，所以各种Trick还是得视情况而定，并不是万能的。

通常分类任务中每张图片的标签是one hot形式的，也就是说一个向量在其对应类别索引上设置为1，其他位置为0，形如[0,0,0,1,0,0]。

label smoothing就是将类别分布变得平滑一点，即

\[ q_{i}=\left\{\begin{array}{ll}{1-\varepsilon} & {\text { if } i=y} \\ {\varepsilon /(K-1)} & {\text { otherwise }}\end{array}\right. \]
其中\(q_{i}\)就代表某一类的ground truth，例如如果\(i==y\)，那么其最终真实值就是\(1-\varepsilon\)，其它位置设置为\(\varepsilon /(K-1)\),而不再是。这里的\(\varepsilon\)是一个很小的常数。

3.3 Mixup

方法如下：

每次随机抽取两个样本进行加权求和得到新的样本，标签同样做加权操作。公式中的\(\lambda\in[0,1]\)是一个随机数，服从\(\text{Beta}(\alpha,\alpha)\)分布。

\[ \begin{aligned} \hat{x} &=\lambda x_{i}+(1-\lambda) x_{j} \\ \hat{y} &=\lambda y_{i}+(1-\lambda) y_{j} \end{aligned} \]



MARSGGBO♥原创





2019-9-4



转载于:https://www.cnblogs.com/marsggbo/p/11459951.html

aiwanghuan5017
关注
python数字图像处理笔记05 几何变换
imxlw00的专栏
06-21 1428
平移变换（Translation Transformation） 指将图像沿某方向平移来获取新图像的变换方法。设空间中一个点的笛卡尔坐标为(x,y,z)，基于平移向量(a,b,c)将其平移到新的坐标(x’,y’,z’)。 放缩变换（Scale Transformation） 也称为尺度变换，指将图像在某方向按比例缩放来获取新图像的变换方法。放缩变换改变了图像的尺寸，即改变了图像像素点间的距离。放缩变换一般沿坐标轴方向进行，或可分解为沿坐标轴方向进行。 当放缩系数a、b、c不为整数时，原始图像中某些像素
WPF 精修篇 缩放ScaleTransform
时意
12-05 6560
缩放 ScaleTransform 参数 ScaleX X轴缩小值 正常为1 ScaleYY轴缩小值 正常为1 CenterY ，CenterX 中心点位置 设置中心点 会按照中心点位置 缩小 这里 做效果 一个张图片 左侧设置了 缩小 中心点默认为左上角 右侧设置了中心点为 X Y各为100 在缩小 会发生位置变化 2张图片来显示区别 ...
silverlight Scaletransform
crystal的专栏
08-30 1010
<br />ScaleTransform缩放变换 <br />ScaleTransform称之为缩放变换，它可以对元素沿X轴方向和Y轴方向按比例进行拉伸或收缩，ScaleX属性指定使对象沿X轴拉伸或收缩的量，ScaleY属性指定使对象沿Y轴拉伸或收缩的量，缩放操作以CenterX和CenterY属性指定的点为缩放的中心，默认值为（0，0），取值范围不是0-1，而是相对于控件的偏移像素值。
用transform:scale();缩放
热门推荐
zhangqling的博客
08-13 6万+
当鼠标划过的时候缩放：  &lt;!DOCTYPE html&gt; &lt;html lang="en"&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;title&gt;缩放&lt;/title&gt; &lt;style&gt; .box{ width: 200px; hei
【论文精读】Bag of Tricks for Image Classification with Convolutional Neural Networks
qq_41776136的博客
04-20 893
目标检测的目标是定位图像中对象的边界框。pathB使用步幅为2的1×1卷积，将输入形状转换为pathA的输出形状，因此我们可以对两条路径的输出进行求和，得到下采样块的输出。此外，通过给大批量训练叠加所有的启发式，在1024批大小和FP16条案件下训练的模型相比基线模型在top-1准确率上甚至有轻微的0.5%的提高。这个调整最初是在Inception-v2[26]中提出的，它也可以在其他实现中找，如SENet [12]，PSPNet [31]，DeepLabV3 [1]，和ShuffleNetV2[21]。
bag of tricks for image classification with convolutional neural networks
liguandong
12-06 1465
Bag of Tricks for Convolutional Neural Networks - 知乎刚刚看了 Bag of Tricks for Image Classification with Convolutional Neural Networks，一篇干货满满的文章，同时也可以认为是GluonCV 0.3: 超越经典的说明书，通过这个说明书，我们也拥有了超越经典的工具箱。…https://zhuanlan.zhihu.com/p/51870052图像分类算法优化技巧：Bag of Tricks
解读：Bag of Tricks for Image Classification with Convolutional Neural Networks
gaoxueyi551的专栏
01-08 1199
一、概述 李沐的这篇论文从实验和理论的角度阐述了一系列卷积神经网络在图像分类方面的一些训练技巧，主要聚焦的是效率和精度两个方面，主题涵盖了数据增强、超参数设置、知识蒸馏等。 二、大Batch训练 在凸优化问题中，使用较大的Batch训练模型，往往收敛率会随之降低，需要更多的Epoch才能收敛到近似最优解。但是，神经网络是否是凸函数要看其所使用的激活函数，但是神经网络参数空间的局部可以近似看作是凸的。如何处理大Batch训练问题，该文叙述了几个代表方法。 线性缩放学习率。是一种策略。 ...
Bag of Tricks for Image Classification with Convolutional Neural Networks（图像分类神经网络训练技巧）
Orange_sparkle的博客
11-18 1540
该篇文章其实就是各个网络中训练技巧的一个集合。由于之前在图像分类中取得的大部分的进展其实都是由训练过程的改进得到的，比如数据增强和优化方法的改进得到的。但是在提出方法的文章中，我们只能在实验细节或者开源代码中见到，所以该篇文章就将这些训练技巧进行了汇总，并进行实验进行验证评估。实验证明，将这些改进结合起来能够将ResNet-50的准确率由75.3%提升到79.29%，实验还验证了，图像分类精度的提高也能应用在其他领域，带来更好的迁移学习的性能。
【论文翻译】Bag of Tricks for Image Classification with Convolutional Neural Networks
孙永杰的博客
05-12 736
使用卷积神经网络进行图像分类的一系列技巧 摘要 最近在图像分类研究中取得的大部分进展可以归功于训练过程的改进，例如数据增强和优化方法的变化。然而，在文献中，大多数改进要么作为实现细节被简要提及，要么仅在源代码中可见。在本文中，我们将检查这些改进的集合，并通过消融研究经验性地评估它们对最终模型准确性的影响。我们将证明，通过将这些改进结合在一起，我们能够显着改进各种 CNN 模型。例如，我们将 ResNet-50 在 ImageNet 上的 top-1 验证准确率从 75.3% 提高到 79.29%。我们还将证
Bag of Tricks for Image Classification with Convolutional Neural Networks
cdknight_happy的专栏
03-27 475
论文：http://xxx.itp.ac.cn/abs/1812.01187 代码：https://github.com/dmlc/gluon-cv 0 摘要 近期，图像分类领域的改善主要是训练过程的改进，包括对数据增强及优化算法的改进。但是很多论文里并没有详细介绍改进细节，或者干脆只有在源代码中才可以看到具体的改进细节。本文，作者通过分类准确率验证了这些改进的有效性。实验结果表明，通过组合使用这...
图像分类优化技巧（Bag of Tricks for Image Classification with Convolutional Neural Networks）
mingo_敏
12-13 3269
Bag of Tricks for Image Classification with Convolutional Neural Networks，李沐大神18年12月的新作，用卷积神经网络进行图像分类的一些技巧。 论文：Bag of Tricks for Image Classification with Convolutional Neural Networks 本文主要讨论训练神经网络过程中...
论文解读-Bag of Tricks for Image Classification with Convolutional Neural Networks
为之则易，不为则难
02-22 9598
文章目录1 动机2 baseline3 改进点3.1 训练速度3.1.1 batch size调整3.1.2 Low-precision training3.1.3 实验结果3.2 网络结构3.2.1 理论3.2.2 实验结果3.3 训练过程优化3.3.1 Cosine Learning Rate Decay3.3.2 Label Smoothing3.3.3 Knowledge Distilla...
论文笔记-Bag of Tricks for Image Classification with Convolutional Neural Networks
XZH16047129的博客
08-23 293
目录 摘要 1.大纲 2.Baseline 2.1训练预处理 2.2测试预处理 3.改进点 3.1 训练速度 3.1.1 batch size调整 3.2 网络结构 3.2.1 模型调整​ 3.3 训练过程优化 3.3.1 Cosine Learning Rate Decay 3.3.2 Label Smoothing 3.2.3 知识蒸馏（Knowledge Distillation） 3.2.4 混合训练（Mixup Train） 3.2.5 实验结果 摘要 很多..
Bag of Tricks for Image Classification with Convolutional Neural Networks论文笔记
XiaoTaiYang6的博客
12-04 345
简介 当前许多图像分类的研究可以归功于训练过程的改进，例如改进数据增强和优化方法。然而在一些文献中，许多改进仅仅在实验细节中有简短的描述活在源码中才会出现。本文使用了这些小技巧将原始ResNet-50在ImageNet上的准确率从75.3%提升到79.29%。复现结果可以在GluonCV中找到，https://github.com/dmlc/gluon-cv。这篇文章可以看作是一群经验丰富的工程师...
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 2415
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
专注MarTech应用研究与实施方案
09-17 1149
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
数据爬虫中遇到验证码的解决方法
sheji888的专栏
09-17 1552
数据爬虫中遇到验证码是一个复杂而常见的问题，需要综合考虑多种因素并采取合适的解决策略。通过避免触发验证码、手动输入验证码、使用验证码识别技术、绕过验证码机制以及采用分布式爬虫和代理IP等方法，可以在一定程度上提高爬虫的稳定性和效率。然而，需要注意的是，爬虫的使用必须遵守相关法律法规和网站爬虫协议的要求，确保数据抓取活动的合法性和合规性。
云智AI人工智能平台——与众不同之处
最新发布
DSP数字化服务平台的博客
09-18 434
今天，我们特别介绍一款由程易科技推出的“云智人工智能平台”，它不仅具备了强大的功能，更以其独特的设计理念，为AI开发者带来了前所未有的便捷体验。在大模型时代，云智人工智能平台以其卓越的性能、丰富的功能和卓越的用户体验，正成为AI开发者的新宠。无论您是初创企业的技术负责人，还是大型企业的AI团队，云智AI平台都将助您一臂之力，共同探索AI的无限可能。：无论是传统的CPU密集型任务，还是对GPU有极高需求的深度学习训练，平台均能提供相应的硬件支持，使开发者无需担忧底层架构的兼容性问题。
Bag of Tricks and A Strong Baseline for Deep Person Re-identification
03-31
A typical baseline for re-identification consists of a deep convolutional neural network (CNN) trained on a large-scale dataset such as Market-1501 or DukeMTMC-reID. The baseline should also include ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值