- 博客(4)
- 收藏
- 关注
原创 论文分享-自监督的Sentence Bi & Cross Encoder
最近读到一个很有意思的论文:TRANS-ENCODER: UNSUPERVISED SENTENCE-PAIR MODELLING THROUGH SELF- AND MUTUAL-DISTILLATIONS 。https://arxiv.org/pdf/2109.13059.pdfarxiv.org该论文给出了一个颇为有趣的在NLP的sentence相似度学习上,如何同时自监督的去训练出效果SOTA的Bi-Encoder和Cross-Encoder。背景知识首先,我们简单的介绍下概念:所
2021-10-24 13:15:21 797
原创 跨越时空的难样本挖掘
Cross-Batch Memory for Embedding Learning我们码隆科技在深度度量学习继续深耕,又做了一点点改进的工作,承蒙审稿人厚爱,被CVPR-2020接收为Oral,并进入best paper候选(共26篇文章进入了候选)。本文中我们提出了一个叫做XBM 方法,通过记住过去迭代里的特征,使得模型的训练不再仅仅依靠当前 mini-batch 的样本,而是可以跨越“时空”(mini-batch)构建样本对,从而可以用极小的代价来获得巨量的样本对。那么,如何完成这场跨越时空..
2021-10-24 13:04:42 200
原创 深度度量学习-论文简评
缘起:有人说起深度度量学习,就会觉得这里面水文多,或者觉得鱼龙混杂,参见曾经上了知乎热榜的一个问题:如何看待研究人员声称近13年来在 deep metric learning 领域的进展实际并不存在?作为在这个坑里摸爬了一段时间,也发了两三篇顶会的从业人员.我的看法是,有的文章确实是纯粹的水文,有些文章还是挤挤的话,还是有些营养的.与其去嘲笑别人,不如从别人的亮点中获得启发.这里我以随笔的形式,不定时的分享我对这个领域的一些文章的思考,破开文章的层层包装,直达本质,让读者不被它们的层..
2021-10-24 13:02:17 866
原创 最简单的self-supervised方法
从Kaiming的MoCo和Hinton组Chen Ting的SimCLR开始,自监督学习(SSL)成了计算机视觉的热潮显学。凡是大佬大组(Kaiming, VGG,MMLAB等),近两年都是搞了几个自监督方法的。从一开始的新奇兴奋地看着Arxiv上新发布的SSL方法(像MoCo, SwAV, BYOL, SimSiam等这些方法着实有趣),但是有一些相关的文章多少有些泛滥了,让人有些眼花缭乱。 最近FAIR的一个工作,着实让我眼前一亮,觉得好有意思,颇为叹服。关键的是这个方法特别简单,应当可以称之为最简单
2021-10-24 12:58:03 656
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人