calvinpaean的博客

在每个阶段的开始位置，降低输入的大小，以实现不同的尺度。MetaFormer 也能看作为一个混合主干架构，卷积操作下采样图像，加入卷积的归纳偏置，transformer 融合视觉和元信息。但是，大多数的 FGVC 方法都是用 ImageNet-1K 预训练的，制约了细粒度识别的进一步探索。因此，学习视觉信息要更加困难，如果在网络训练的开始阶段，就将大量的辅助信息输入网络，网络的视觉能力会受到损害。直觉上，物种的分布可以在地理上得到体现，不同种类的栖息地是不同的，于是时空信息可以辅助物种的细粒度分类任务。

最近的非监督表征学习关注在对比学习上。在检测和分割任务上，MoCo 的非监督预训练表现优于在 ImageNet 监督预训练的表现；在线性分类表现上，SimCLR 进一步缩小了非监督和监督预训练的差距。

非监督学习在自然语言处理非常成功，如 GPT 和 BERT。但在计算机视觉任务上，监督预训练方法要领先于非监督的方法。这种差异可能是因为各自的信号空间不同，语言任务有着离散的信号空间（单词、短语等）来构建非监督学习所需的字典。而计算机视觉则很难构建一个字典，因为原始信号位于连续的高维空间，不像单词一样是结构化的。最近的非监督表征学习方法使用对比损失取得了不错的效果，它们基本是构建了一个动态字典。从数据中采样，产生字典的 keys/tokens，由编码器网络表征。

Abstract将全局和局部特征结合已经成为提高行人重识别任务表现的关键方案。以前的基于局部特征的方法主要是利用预先定义的语义信息来定位区域，学习局部表征，这增加了学习难度，且对复杂场景来说其鲁棒性和效率都差一些。本文提出了一个端到端的特征学习策略，用多样化的细粒度来集成判别信息。作者仔细设计了 Multiple Granularity Network，它是一个多分支的深度网络结构，一个分支用于全局特征，另两个分支用于局部特征。本文的方法没去学习语义区域，而是将图像拆分成多个条纹，改变不同的局部分支中的

Abstract通用的实例 ReID 在计算机视觉领域是非常重要的一个任务，可许多应用中都有使用，如行人/车辆重识别、人脸识别、野生动物保护、商品追溯等。为了满足日益增长的需求，本文介绍了一个在京东广泛应用的软件系统 — FastReID。高度模块化和可扩展设计使之使用起来很方便。友好的管理系统配置和工程部署功能让从业者能很快地在应用中部署模型。作者实现了一些 SOTA 的工程，包括行人重识别、跨域重识别和车辆重识别，计划将这些在多个基准上预训练的模型开放出来。FastReID 是目前为止最通用、性能最优

Abstract最近对比学习取得了一些突破性进展，加速了非监督学习在真实数据上应用部署。但是现实世界中的未标注数据是非常不均衡的，具有长尾分布的特点，最新的对比学习方法在实际场景中的表现到底如何，仍是未知。本文通过自损对比学习（SDCLR）框架直面这个问题，无需知道类别信息，自动地平衡表征学习。本文主要受到最近的一些发现启发，深度模型有一些样本是 difficult-to-memorize 的，这些样本在网络剪枝后会暴露出来（Hooker et al., 2020）。那我们就可进一步假设，模型对于长尾样本

Abstract对于深度度量学习（DML）而言，挖掘富含信息的负样本是至关重要的，但是这个任务内在地受到 mini-batch 训练的约束，每次迭代时只有一个 mini-batch 的样本会被训练。本文作者发现在模型训练参数更新的时候， embedding 特征所发生的偏移是极其缓慢的，进而提出了“slow drift”现象。这就说明之前步骤训练的实例特征可以用于近似当前模型提取的特征。作者提出了一个 cross-batch memory(XBM)机制，会记住之前步骤的 embeddings，使模型可以跨