weixin_43994864的博客

下载官方网址：第一步：第二步：第三步：第四步：第五步：第六步：等待下载完成！！！

本篇博客是对计算机视觉任务中常见的几种基于单个样本进行数据增强的方法的一个总结，主要是给自己做一个笔记，如果有任何问题请大家指正(●ˇ∀ˇ●)数据增强的作用避免过拟合。当数据集具有某种明显的特征，例如数据集中图片基本在同一个场景中拍摄，使用Cutout方法和风格迁移变化等相关方法可避免模型学到跟目标无关的信息。提升模型鲁棒性，降低模型对图像的敏感度。当训练数据都属于比较理想的状态，碰到一些特殊情况，如遮挡，亮度，模糊等情况容易识别错误，对训练数据加上噪声，掩码等方法可提升模型鲁棒性。增加

由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。更详细讲解请见博客 (附带代码) ：https://blog.csdn.net/sinat_36618660/article/details/99650804

论文链接：https://arxiv.org/pdf/2203.09795.pdf代码链接：无1. 动机虽然视觉Transformer已经取得了相当大的进展，但对其设计和训练程序的优化只进行了有限的探索2. 贡献这篇论文提供了三种关于训练视觉Transformer的见解：并行的视觉Transformer。提出了一个非常简单的方法来实现vit。从如下所示的顺序体系结构开始，作者通过成对地重组相同的块来并行化体系结构，这可以用于任何不同数量的并行块。这将产生具有相同数量参数和计算的体系结构，同时.

论文链接：http://proceedings.mlr.press/v139/touvron21a/touvron21a.pdf代码链接：1. 动机VIT训练需要消耗大量的计算资源，且训练时间长。此外，当没有充足数据时很难泛化2. 贡献作者证明，不包含卷积层的神经网络可以在没有外部数据的情况下，在ImageNet上获得与当前技术水平相比具有竞争力的结果。且它们是在4个gpu的单个节点上学习的，需要3天时间。本文的两个新模型DeiT-S和DeiT-Ti参数更少，可以看作是ResNet-50和Re.

论文链接：https://arxiv.org/pdf/2111.09833.pdf代码链接：https://github.com/Beckschen/TransMix1. 动机最近很多研究已经发现，基于ViT的网络很难优化，如果训练数据不足，很容易过拟合。快速解决这一问题的方法是在训练过程中应用数据增强和正则化技术。其中，Mixup和CutMix等基于Mix的方法被证明对基于ViT的网络泛化特别有帮助。但是，以往基于Mixup的方法有一个潜在的先验知识，即假设目标的线性插值比率应该与输入插值中提出.

这是一篇CVPR2020 oral的论文论文链接：https://arxiv.org/abs/1912.067981. 预备知识首先要知道深度度量学习（DML）主要分两类：pair-based和proxy-based（其中pair-based代表性损失函数有contrastive loss, triplet loss, N-pair loss和multi-similarity (MS) loss等等；而proxy-based代表性损失函数有Softmax等）。这两类深度度量学习的区别：1） pa.