自监督学习
文章平均质量分 90
bnuwangxun
这个作者很懒,什么都没留下…
展开
-
论文分享-自监督的Sentence Bi & Cross Encoder
最近读到一个很有意思的论文:TRANS-ENCODER: UNSUPERVISED SENTENCE-PAIR MODELLING THROUGH SELF- AND MUTUAL-DISTILLATIONS 。https://arxiv.org/pdf/2109.13059.pdfarxiv.org该论文给出了一个颇为有趣的在NLP的sentence相似度学习上,如何同时自监督的去训练出效果SOTA的Bi-Encoder和Cross-Encoder。背景知识首先,我们简单的介绍下概念:所原创 2021-10-24 13:15:21 · 824 阅读 · 0 评论 -
最简单的self-supervised方法
从Kaiming的MoCo和Hinton组Chen Ting的SimCLR开始,自监督学习(SSL)成了计算机视觉的热潮显学。凡是大佬大组(Kaiming, VGG,MMLAB等),近两年都是搞了几个自监督方法的。从一开始的新奇兴奋地看着Arxiv上新发布的SSL方法(像MoCo, SwAV, BYOL, SimSiam等这些方法着实有趣),但是有一些相关的文章多少有些泛滥了,让人有些眼花缭乱。 最近FAIR的一个工作,着实让我眼前一亮,觉得好有意思,颇为叹服。关键的是这个方法特别简单,应当可以称之为最简单原创 2021-10-24 12:58:03 · 659 阅读 · 0 评论