笔记
文章平均质量分 81
FesianXu
腾讯-微信事业群-高级算法工程师, 百度-搜索策略部-前高级算法工程师。 主要从事多模态检索、视频检索、信息检索,大模型落地应用等领域工作。
展开
-
【论文极速读】EMT——评估多模态LLM中的灾难性遗忘问题
评估多模态LLM模型的灾难性遗忘现象原创 2023-10-07 20:39:56 · 644 阅读 · 0 评论 -
【论文极速读】IMAGEBIND —— 通过图片作为桥梁桥联多模态语义
image bind,充分利用多模态异构数据~原创 2023-09-30 10:52:18 · 701 阅读 · 0 评论 -
【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式
Prompt tuning是一种高效的LLM下游任务适配方式原创 2023-09-29 15:18:51 · 2033 阅读 · 0 评论 -
【论文极速读】ERNIE VIL 2.0,多模态模型的一种多视角预训练范式
ERNIE VIL 2.0 多视角多模态的预训练方法原创 2022-12-03 13:23:15 · 413 阅读 · 0 评论 -
【论文极速读】FILIP: 一种基于交互的细粒度图文预训练模型
FILIP,基于交互的细粒度图文匹配模型原创 2022-10-16 01:47:34 · 1432 阅读 · 0 评论 -
为何基于树的模型在表格型数据中能优于深度学习?
为什么树模型在表格型数据上会优于神经网络模型呢?原创 2022-09-10 18:58:42 · 1528 阅读 · 2 评论 -
【见闻录系列】浅谈搜索系统与推荐系统的一点区别
推荐系统和搜索系统的一些见解原创 2022-09-03 23:01:17 · 1228 阅读 · 0 评论 -
【Hadoop Streaming实践系列】 大规模字段提取的实践
Hadoop Streaming的大规模字段提取实践原创 2022-08-30 00:30:57 · 597 阅读 · 0 评论 -
【Debug危机系列】 记一次opencv相关的debug过程
debug笔记,这次关于opencv的imencode和cvtColor原创 2022-08-28 11:09:14 · 922 阅读 · 0 评论 -
hinge loss的一种实现方法
hinge loss的实现原创 2022-08-20 11:42:52 · 965 阅读 · 0 评论 -
【见闻录系列】我所理解的搜索业务二三事
搜索系统全链路的二三事原创 2022-08-07 17:42:08 · 876 阅读 · 1 评论 -
学习资源推荐
资源推荐原创 2022-06-29 10:13:13 · 364 阅读 · 0 评论 -
混合精度训练场景中,对比学习损失函数的一个注意点
对比学习在半精度训练过程中的小问题原创 2022-06-08 22:46:49 · 1316 阅读 · 0 评论 -
【见闻录系列】我所理解的“业务”
技术赋能业务的理解原创 2022-06-01 10:12:52 · 447 阅读 · 0 评论 -
linux日常工作shell命令与工具汇总
本文作为笔者的日常工作linux使用过程中的备忘录文件操作文件record去重对文件内的record进行去重,可采用uniq和sort命令进行,比如文件record为,不同字段用\t隔开,为了将其中重复的record挑选出来,或者将非重复的record挑选出来,有以下几种命令可供使用。# filename: dup_recordmike 30nancy 45jacky 45mike 67nancy 25nancy 57nancy 25mike 30mike 67jacky 45原创 2022-05-16 14:55:49 · 249 阅读 · 0 评论 -
【git笔记】git使用杂问题收录
本文作为笔记记录git使用的一些杂问题。git bash中文文件名无法正确显示git终端的文件名无法正常显示,如git bash 客户端第一次查看文件时,无法正确显示中文的文件名,输入以下命令即可解决git config --global core.quotepath false # 显示 status 编码git config --global gui.encoding utf-8 # 图形界面编码git config --global i18n.co原创 2022-05-14 08:51:14 · 229 阅读 · 0 评论 -
python使用日常备忘录
python使用日常原创 2022-04-29 08:14:38 · 1151 阅读 · 0 评论 -
在多模态模型训练时,如何合适地融合单模态损失
多模态训练时候导致的单模态缺损,需要同时考虑单模态损失原创 2022-04-21 10:27:47 · 4128 阅读 · 1 评论 -
集群深度学习训练实践笔记——高性能分布式多任务数据读取
高性能的分布式多任务数据读取方式原创 2022-04-07 21:22:03 · 601 阅读 · 0 评论 -
工作一年时期的土豆总结——复杂度和困难度
工作一年时期的土豆总结——复杂度和困难度原创 2022-03-20 17:42:02 · 1499 阅读 · 1 评论 -
【论文极速读】 Efficient Net:一种组合扩大卷积网络规模的方法
【论文极速读】 Efficient Net:一种组合扩大卷积网络规模的方法 FesianXu 20220313 at Baidu Search Team前言最近笔者需要基于Efficient Net作为图片编码器进行实验,之前一直没去看原论文,今天抽空去翻了下原论文,简单记下笔记。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgith...原创 2022-03-13 14:49:05 · 2421 阅读 · 1 评论 -
集群深度学习训练实践笔记——多进程Dataset设计
集群深度学习训练实践笔记——多进程Dataset设计 FesianXu 20211105 at Baidu Search Team前言之前在[1]中曾经讨论过在集群中分布式训练大型模型需要一些特别的分布式数据加载器设计,文章最后还讨论了由于分布式多机多卡训练过程中,某个trainer由于数据读取,将会导致其他所有trainer阻塞等待,造成了很大的计算资源浪费的情况。本文针对这种情况,提出一种基于多进程的解法。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原...原创 2021-11-05 22:40:15 · 523 阅读 · 0 评论 -
集群深度学习训练实践笔记——分布式数据读取器
集群深度学习训练实践笔记——分布式数据读取器 FesianXu 20211104 at Baidu Search Team前言本文主要作为笔者在分布式集群中训练深度学习模型,特别是一些大规模模型和在海量数据下的训练的经验,本文实践以paddle 2.1为例,包括paddle 动态图和静态图的使用等。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail...原创 2021-11-04 17:21:40 · 1481 阅读 · 0 评论 -
【工作实践系列】一些linux命令积累——字符串处理相关(持续更新中)
文本编辑工具trsedawk原创 2021-09-14 17:51:17 · 4873 阅读 · 1 评论 -
tmux的分割线变成『x』『q』的解决方法
在使用tmux的时候,如果是用PuTTY可能会出现panel之间的分割线从实线变为一堆『x』或者『q』,非常不好看。如下图所示:正常的分割线应该是实线不正常的分割线变为了一堆『x』和『q』,丑得咩有朋友~在[1]中提供了一种解决方法,在启动tmux的时候,配合参数-u,可以使得tmux强制使用utf-8编码,从而解决这个问题。比如:tmux -u new -s new_envtmux -u a -t old_envReference[1]. https://stackov原创 2021-09-14 16:13:21 · 543 阅读 · 0 评论 -
训练大规模对比学习的一些小笔记
训练大规模对比学习的一些小笔记 FesianXu 20210815 at Baidu Search Team前言笔者在公司中会面对数以亿计的用户历史行为数据,用好这些数据是非常关键的。而最近流行的对比学习在表征学习上有着广泛应用,特别是在大规模数据上的应用值得我们探讨。本文在不涉及具体工作内容的情况下,简要对大规模对比学习的训练进行一些笔记。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢。∇\nabla∇ 联系...原创 2021-08-15 21:53:40 · 681 阅读 · 0 评论 -
MoCo 动量对比学习——一种维护超大负样本训练的框架
MoCo 动量对比学习——一种维护超大负样本训练的框架FesianXu 20210803 at Baidu Search Team前言在拥有着海量数据的大型互联网公司中,对比学习变得逐渐流行起来,大家都拿它进行表征学习的探索。本文对MoCo这篇论文进行笔记,希望对读者有所帮助。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://.原创 2021-08-08 15:25:34 · 2596 阅读 · 0 评论 -
【论文极速看】 MLP-Mixer 一种全连接的视觉网络架构
【论文极速看】 MLP-Mixer 一种全连接的视觉网络架构FesianXu 20210709 at Baidu search team前言∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianXu知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号:基于局部感知和权值共享的卷积网络CNN和自注意力机制的Transformer系列架构已经在CV和NLP领域得到了广泛的应用。Transfo.原创 2021-07-09 14:49:47 · 523 阅读 · 0 评论 -
搜索系统相关术语笔记
relevance feedback/pseudo relevance feedback相关性反馈 [1](relevance feedback,RF)/伪相关性反馈 [2](pseudo relevance feedback,PRF)是常见的提高相关性的技术。其中相关性反馈需要搜索系统和用户进行多次交互,才能对结果进行迭代优化,如Fig 1.1所示,如果用户给定了一个检索词『自行车』,那么系统将会首先给定一个候选集,如Fig 1.1的第一排所示。待用户勾选了若干和检索词有关的doc之后,系统将会基于用户原创 2021-07-07 18:07:40 · 200 阅读 · 0 评论 -
【论文极速看】ERNIE 3.0 通过用知识图谱加强的语言模型
∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianXu知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号:之前写过『清华ERNIE』 与 『百度ERNIE』 的对比,也着重介绍了下百度的ERNIE系列模型,主要是ERNIE 1.0 [1]和ERNIE 2.0 [2]。就笔者的读后感而言,百度的工作和学术界有着较大不同,其没有对网络模型本身进行结构上的大改动,而是着重于如何构造合理的预训练任务,以及如何更好原创 2021-07-06 23:18:44 · 1729 阅读 · 2 评论 -
【工具总结】tmux使用小集锦
本文纪录笔者在 tmux 使用过程中的一些小笔记。添加鼠标控制相关的设置可以在tmux中设置是否采用鼠标控制,比如鼠标控制窗口大小,选择panel等,采用bind绑定快捷键可以使得整个使用过程更为顺滑流畅 [1]。 设置通过编辑vim ~/.tmux.conf,并且在进入tmux后,输入prefix(默认是ctrl+B),然后输入:source-file ~/.tmux.conf触发新设置生效。 ~/.tmux.conf的配置如:# toggle mouse mode to allow mouse原创 2021-05-25 14:46:03 · 237 阅读 · 0 评论 -
从零开始的搜索系统学习笔记
从零开始的搜索系统学习笔记 FesianXu 20210307 at Baidu search team前言笔者在百度实习的过程中,从零开始开始学习了一些关于信息搜索系统的知识,觉得受益匪浅,在此笔记,希望对读者有所帮助。本文只是科普向,如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/Fes...原创 2021-05-03 15:24:08 · 1368 阅读 · 2 评论 -
【论文极速看】MOBIUS 一种构建负样本的方法
∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianXu知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号:在搜索,计算广告和推荐系统中,通常有着海量的用户数据,这类型的数据各种类型混杂,比如用户点击数据,用户浏览时长,还有各种用户行为信息等,如何根据这些数据构造出合适的数据集给模型训练,是一件核心问题。百度在论文[1]中提出了一种称之为MOBIUS的负样本构建思路。通常来说,搜索广告推荐(统称为推广搜系统)都原创 2021-04-30 15:00:26 · 504 阅读 · 0 评论 -
【论文极速看】ERNIE-VIL 一种基于场景图解析的多模态表征方法
∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianXu知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号:ERNIE [1,2,3]是百度提出用于对文本进行建模的模型,为了对图文信息进行多模态建模,百度在后续还提出了ERNIE-VIL模型[4]。ERNIE-VIL模型的建模思路很直接,作者认为图片信息主要由以下几种类型,如Fig 1所示。分别是图片中有哪些物体(Objects), 图片的物体有哪些属性(Att原创 2021-04-29 20:22:33 · 988 阅读 · 1 评论 -
【论文极速看】 Linformer 线性复杂性的自注意力机制
∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/FesianXu知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号:在Transformer [1]中作者提出了用自注意力取代CNN,RNN在序列建模中的作用,并且取得了显著的实验效果,对整个NLP,CV领域有着深远影响。然而自注意力机制的时间复杂度是O(n2)\mathcal{O}(n^2)O(n2)的,如式子(1)所示Attention(QWQ,KWK,VWV原创 2021-04-28 21:04:19 · 2069 阅读 · 0 评论 -
<转载> TensorRT 实战教程
本文转自 https://murphypei.github.io/blog/2019/09/trt-useageTensorRT(TRT) 作为一种能显著加快深度学习模型 inference 的工具,如果能够较好的利用,可以显著提高我们的 GPU 使用效率和模型运行速度。TensorRT(TRT) 作为一种快速的 GPU 推理框架,其常规流程就是利用现有的模型文件编译一个 engine,在编译 engine 的过程中,会为每一层的计算操作找寻最优的算子方法,这样编译好的 engine 执行起来就非常高转载 2021-04-28 15:27:04 · 997 阅读 · 0 评论 -
Transformer代码随记
Transformer代码随记 FesianXu 20210423 at Baidu search team前言最近在百度搞多模态搜索,Transformer [1]相关的模型用的多些,记录下Transformer阅读代码过程中的一些笔记,希望对大家有帮助。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇ 联系方式:e-mail: FesianXu@gmail.comgithub: https://github.com/Fesia...原创 2021-04-25 20:13:16 · 736 阅读 · 0 评论 -
将Transformer用在图片上:Vision Transformer论文杂谈
将Transformer用在图片上:Vision Transformer论文杂谈 FesianXu 20210422 at Baidu search team前言Transformer自提出以来在NLP领域取得了诸多突破,而自然而然有工作在考虑如何在图片等视觉媒体上应用Transformer,本文介绍Vision Transformer (ViT)模型,并且作为笔记记录了一些笔者的读后感。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。...原创 2021-04-22 20:54:50 · 1747 阅读 · 0 评论 -
C语言函数内形式参数的入栈顺序是UB行为
最近在学校论坛看到一个关于C语言的问题,如下文这段代码,期待中的输出应该是5,5,但是在gcc中的结果实际是7,3,而在clang中的结果则是期望中的5,5。为什么会产生这种区别呢?其原因就在于printf("%d,%d\n", (++p)->a, (p++)->a);这句,因为在形参传参过程中,左参数(++p)->a和右参数(p++)->a不是彼此独立的,而是会相互影响,因此编译器在解释函数传参过程中,从左到右入栈还是从右到左入栈的顺序就至为关键,不凑巧的时,这个顺序在C语言标准中原创 2021-03-28 20:12:20 · 559 阅读 · 0 评论 -
语义标签(Semantic label)与多模态模型的一些关系
语义标签(Semantic label)与多模态模型的一些关系 FesianXu 20210317 at Baidu intern前言语义标签指的是通过特殊方式使得样本的标签具有一定的语义信息,从而实现更好的泛化,是解开放集问题(open set)和zero-shot问题中的常见思路。如有谬误请联系指出,本文遵守 CC 4.0 BY-SA 版权协议,转载请联系作者并注明出处,谢谢。∇\nabla∇ 联系方式:e-mail: FesianXu@gmail.comgithub:...原创 2021-03-18 00:34:24 · 2057 阅读 · 0 评论