对比学习
文章平均质量分 95
FesianXu
腾讯-微信事业群-高级算法工程师, 百度-搜索策略部-前高级算法工程师。 主要从事多模态检索、视频检索、信息检索,大模型落地应用等领域工作。
展开
-
SigLIP——采用sigmoid损失的图文预训练方式
CLIP中的infoNCE损失是一种对比性损失,在SigLIP这个工作中,作者提出采用非对比性的sigmoid损失,能够更高效地进行图文预训练原创 2024-09-08 22:24:03 · 2032 阅读 · 0 评论 -
基于CLIP特征的多模态大模型中的视觉短板问题
如今的大多数多模态大模型,其视觉输入侧采用的视觉编码器,都是依照CLIP的训练方式,采用大规模对比学习进行训练的。在论文 [1] 中,作者发现CLIP特征具有某些视觉短板,从而导致基于此的MLLM也受到了影响。作者观察到,在一些简单直接(不需要复杂推理)的问题上,MLLM似乎并不能很好解决...原创 2024-07-06 18:17:05 · 1008 阅读 · 1 评论 -
hinge loss的一种实现方法
hinge loss的实现原创 2022-08-20 11:42:52 · 965 阅读 · 0 评论 -
混合精度训练场景中,对比学习损失函数的一个注意点
对比学习在半精度训练过程中的小问题原创 2022-06-08 22:46:49 · 1317 阅读 · 0 评论 -
【论文极速看】CLIP-Lite:一种不依赖于负样本数量的高效多模态学习方法
JS散度用于互信息下界估计原创 2022-02-07 21:59:45 · 637 阅读 · 0 评论 -
图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型
图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型 FesianXu 20220127 at Baidu Search Team前言之前在博文[2-4]中介绍了一些图文多模态语义对齐相关的模型,分别是WenLan 1.0, WenLan 2.0和CLIP等,这些模型都是双塔结构模型,然而在实际的应用场景中,我们会有使用单塔模型的需求,笔者在本文将介绍一篇论文[1]的思路,将单塔模型和双塔模型结合在一起进行图文多模态语义融合和对齐。如有谬误请联系指出,本文遵循 CC 4.0 BY-...原创 2022-01-28 19:36:37 · 6604 阅读 · 0 评论 -
WenLan 2.0:一种不依赖Object Detection的大规模图文匹配预训练模型 & 数据+算力=大力出奇迹
WenLan 2.0的方法介绍和个人理解原创 2021-12-03 15:23:27 · 3662 阅读 · 0 评论 -
【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象
【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象 FesianXu 20211015 at Baidu search team前言之前笔者在[1]中介绍过MoCo v1模型通过解耦batch size和负样本队列大小,从而实现超大负样本队列的对比学习训练方案;在[2]中我们提到了当前对比学习训练中提高负样本数量的一些方法;在[3]中提到了将MoCo扩展到多模态检索中的方案。在本文,我们介绍下MoCo v3,一种尝试在Transformer模型中引入...原创 2021-11-03 20:47:16 · 1620 阅读 · 0 评论 -
图文搜索系统中的多模态模型:将MoCo应用在多模态对比学习上
图文搜索系统中的多模态模型:将MoCo应用在多模态对比学习上 FesianXu 20210917 at Baidu Search Team前言之前我们在[1]中介绍过超大负样本对于对比学习训练的重要意义,并且在[2,3]中介绍了MoCo,Memory Bank等方法去突破硬件限制地去进一步增大负样本数量。然而,之前这些方法都尝试在单模态数据上进行对比学习[4],在文章[5]中,作者团队提出了WenLan项目,尝试在多模态模型中采用MoCo的形式进行大尺度负样本对比学习。本文是对WenLa...原创 2021-09-18 11:36:01 · 1941 阅读 · 1 评论 -
Batch Norm层在大尺度对比学习中的过拟合现象及其统计参数信息泄露问题
Batch Norm层在大尺度对比学习中的过拟合现象及其统计参数信息泄露问题 FesianXu 20210830 at Baidu Search Team前言在之前的博文[1,2]中已经说明了在对比学习中提高batch size的巨大作用,然而在大尺度对比学习的训练过程中,被广泛实践证明有效的Batch Norm层则很容易出现过拟合的现象。笔者在本文对该现象进行笔记,并且纪录其解决方案。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声...原创 2021-09-01 14:38:22 · 1163 阅读 · 5 评论 -
训练大规模对比学习的一些小笔记
训练大规模对比学习的一些小笔记 FesianXu 20210815 at Baidu Search Team前言笔者在公司中会面对数以亿计的用户历史行为数据,用好这些数据是非常关键的。而最近流行的对比学习在表征学习上有着广泛应用,特别是在大规模数据上的应用值得我们探讨。本文在不涉及具体工作内容的情况下,简要对大规模对比学习的训练进行一些笔记。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系...原创 2021-08-15 21:53:40 · 681 阅读 · 0 评论 -
CLIP-对比图文多模态预训练的读后感
CLIP-对比图文多模态预训练的读后感 FesianXu 20210724 at Baidu Search Team前言CLIP是近年来在多模态方面的经典之作,其用大量的数据和算力对模型进行预训练,使得模型的zero-shot性能甚至可以匹敌众多数据集上的监督SOTA,实在让人惊叹不已,本文简要纪录下笔者阅读该文后的读后感以及一些启发。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:...原创 2021-08-08 16:49:31 · 5934 阅读 · 0 评论 -
MoCo 动量对比学习——一种维护超大负样本训练的框架
MoCo 动量对比学习——一种维护超大负样本训练的框架FesianXu 20210803 at Baidu Search Team前言在拥有着海量数据的大型互联网公司中,对比学习变得逐渐流行起来,大家都拿它进行表征学习的探索。本文对MoCo这篇论文进行笔记,希望对读者有所帮助。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://.原创 2021-08-08 15:25:34 · 2598 阅读 · 0 评论