bnuwangxun的博客

最近读到一个很有意思的论文：TRANS-ENCODER: UNSUPERVISED SENTENCE-PAIR MODELLING THROUGH SELF- AND MUTUAL-DISTILLATIONS 。https://arxiv.org/pdf/2109.13059.pdf​arxiv.org该论文给出了一个颇为有趣的在NLP的sentence相似度学习上，如何同时自监督的去训练出效果SOTA的Bi-Encoder和Cross-Encoder。背景知识首先，我们简单的介绍下概念：所

缘起：有人说起深度度量学习，就会觉得这里面水文多，或者觉得鱼龙混杂，参见曾经上了知乎热榜的一个问题：如何看待研究人员声称近13年来在 deep metric learning 领域的进展实际并不存在？如何看待研究人员声称近13年来在 deep metric learning 领域的进展实际并不存在？​www.zhihu.com作为在这个坑里摸爬了一段时间，也发了两三篇顶会的从业人员．我的看法是，有的文章确实是纯粹的水文，有些文章还是挤挤的话，还是有些营养的．与其去嘲笑别人，不如从别人..

Cross-Batch Memory for Embedding Learning我们码隆科技在深度度量学习继续深耕，又做了一点点改进的工作，承蒙审稿人厚爱，被CVPR-2020接收为Oral，并进入best paper候选（共26篇文章进入了候选）。本文中我们提出了一个叫做XBM 方法，通过记住过去迭代里的特征，使得模型的训练不再仅仅依靠当前 mini-batch 的样本，而是可以跨越“时空”（mini-batch）构建样本对，从而可以用极小的代价来获得巨量的样本对。那么，如何完成这场跨越时空..

缘起：有人说起深度度量学习，就会觉得这里面水文多，或者觉得鱼龙混杂，参见曾经上了知乎热榜的一个问题：如何看待研究人员声称近13年来在 deep metric learning 领域的进展实际并不存在？作为在这个坑里摸爬了一段时间，也发了两三篇顶会的从业人员．我的看法是，有的文章确实是纯粹的水文，有些文章还是挤挤的话，还是有些营养的．与其去嘲笑别人，不如从别人的亮点中获得启发．这里我以随笔的形式，不定时的分享我对这个领域的一些文章的思考，破开文章的层层包装，直达本质，让读者不被它们的层..

从Kaiming的MoCo和Hinton组Chen Ting的SimCLR开始，自监督学习（SSL）成了计算机视觉的热潮显学。凡是大佬大组（Kaiming, VGG，MMLAB等），近两年都是搞了几个自监督方法的。从一开始的新奇兴奋地看着Arxiv上新发布的SSL方法（像MoCo, SwAV, BYOL, SimSiam等这些方法着实有趣），但是有一些相关的文章多少有些泛滥了，让人有些眼花缭乱。 最近FAIR的一个工作，着实让我眼前一亮，觉得好有意思，颇为叹服。关键的是这个方法特别简单，应当可以称之为最简单