对比学习
文章平均质量分 95
HERODING77
本科大连理工大学软件工程,目前华东师范大学数据学院硕士在读,兴趣方向为智能体,LLM,自然语言处理,知识图谱,NER,联邦学习,数据结构与算法。
展开
-
【论文精读】Hierarchical Text-Conditional Image Generation with CLIP Latents
本篇工作即DALL·E2,是文生图领域和多模态领域具有轰动性的工作,其一出现就上了各大板块的热搜。DALL·E2生成的图像丰富且真实,很容易以假乱真。它的实现基于CLIP和扩散模型,前者结合丰富的图文语义,后者生成多样高质量图像,这套组合拳可谓实力十足。下面就来看看这篇工作具体是怎么做的吧。PaperCodeFrom对比学习模型如CLIP展现了其强大的图像语义和风格的表征。为了利用这些表征来进行图像的生成,作者提出了两阶段模型:prior模型通过文本描述生成图像表征,解码器模型根据图像表征生成图像。原创 2023-09-11 16:35:26 · 661 阅读 · 0 评论 -
【论文通读】计算机视觉对比学习综述
本篇对比学习综述内容来自于沐神对比学习串讲视频以及其中所提到的论文和博客,对应的链接详见第六节。本篇博客所涉及的对比学习内容均应用在CV领域,算是到21年为止比较全面的对比学习综述内容讲解。对比学习作为一种自监督学习方法,其在CV领域的发展也印证着自监督学习的发展,科研工作者也在一步步揭开自监督学习的神秘面纱,通过构建不同的代理任务,采用不同的模型架构,来极力挖掘自监督学习的潜力。相信通过本篇博客的学习,你能够对对比学习有着更深刻的认识,万变不离其宗,当你领悟到对比学习的本质,你就能。原创 2023-08-28 21:33:02 · 965 阅读 · 2 评论 -
【论文精读】Momentum Contrast for Unsupervised Visual Representation Learning
如果说MAE证实了无监督学习在CV领域能够像在NLP领域那样超过监督预训练的性能,那么MoCo就填补了CV中无监督学习和监督学习的gap。作为来自大神何恺明的团队的作品,MoCo行文充满了大佬的自信,让我们看看MoCo这篇工作在写作和方法构建上的精妙之处~CVPR2020本文提出MoCo用于无监督视觉表征学习。它将对比学习任务看成字典查询任务,作者设计了由队列和移动平均编码器组成的动态词典。由于无需梯度反向传播,因此可以得到一个大型且一致的字典, 从而帮助无监督学习。原创 2023-08-26 16:28:13 · 462 阅读 · 0 评论