自监督学习
baidu_huihui
这个作者很懒,什么都没留下…
展开
-
通用的图像-文本语言表征学习:多模态预训练模型 UNITER
通用的图像-文本语言表征学习:多模态预训练模型 UNITER导读:联合图像-文本的表征学习为大多数视觉+语言 ( V+L ) 任务的基础,一般通过联合处理多模态输入,得到用于实现对视觉和文本的理解。但是,这种特征通常是针对特定任务的。在本文将介绍一种通用的图像-文本表征学习 UNITER。UNITER 是通过在四个图像-文本数据集 ( COCO, Visual Genome, Conceptual Captions, and SBU Captions ) 上进行大规模的预训练而获得的,可以通..原创 2020-07-12 01:52:58 · 3052 阅读 · 0 评论 -
解读自监督学习(Self-Supervised Learning)几篇相关paper
解读自监督学习(Self-Supervised Learning)几篇相关paperSupervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning,许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作。这里主要关注Unsupervised learning一类特定的方法:Self-supervised learnin...原创 2020-06-23 02:49:05 · 956 阅读 · 0 评论 -
自监督学习 | (1) Self-supervised Learning入门
自监督学习 | (1) Self-supervised Learning入门本文通过整理自监督学习的一系列工作,把主流方法分成三大类,方便大家更全面的了解自监督学习的定义、方法、用途。学习的范式我们首先来回顾下机器学习中两种基本的学习范式,如图所示,一种是监督学习,一种是无监督学习(林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习)。监督学习利用大量的标注数据来训练模型,模型的预测和数据的真实标签产生损失后进行反向传播(计算梯度、更新参数),通过不断的学习,最终可原创 2020-06-23 02:33:42 · 759 阅读 · 0 评论