每周一文（六）Facebook EBR向量召回模型

最新推荐文章于 2024-09-09 14:20:51 发布
原创 最新推荐文章于 2024-09-09 14:20:51 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #推荐系统

本文探讨了向量级别召回模型的来源，重点在于样本构造和模型设计。正样本采用概率抽样策略，避免热门item过度影响模型。负样本分为easynegative和hardnegative，前者为模型易于识别的负例，后者则更具挑战性。模型融合策略包括并行和串行方式。曝光未点击样本并不适合用于负样本，因为它们可能只是用户未偏好而非不喜欢。

契机

从样本和模型两方面来介绍向量级别召回模型的由来。提出很有建设性的工业级别的参考价值。

样本角度

有监督的二分类模型需要构建正负样本，正样本的选择不管是召回和排序来说都是一致的，即用户有显式的点击行为的样本为正样本。而对于召回模型(甚至对于粗排模型)来说，负样本的选择至关重要，如下会介绍正样本的构建方法和两种级别的负样本构建方法。

正样本抽样

有些item在用户显式点击反馈中出现的次数过高，这会导致召回模型会被这些item绑架，因而需要对用户显式点击反馈中的item进行抽样，被抽到的概率为如下公式，其中 Z ( w i ) Z(w_i) Z(wi​)代表item在整个item库中出现的频次。

P p o s = ( Z ( w i ) 0.001 + 1 ) 0.001 Z ( w i ) P_{pos}=(\sqrt{\frac{Z(w_i)}{0.001}}+1)\frac{0.001}{Z(w_i)} Ppos​=(0.001<

最低0.47元/天 解锁文章
1-4 基于向量的召回算法及其在个性化广告新闻中的应用实践-刘政.pdf
08-18
EBR（Embedding Based Recall）是一种基于向量嵌入的召回算法，它的优势在于高泛化性、相对快速。然而，它也存在一些问题，比如模型训练需要大量数据，而且生成的向量嵌入有时可能会产生模糊不清的表示。 三、向量...
Embedding-based Retrieval in Facebook Search向量化召回
永远飞翔的鸟
08-13 189
Embedding-based Retrieval in Facebook Search向量化召回
推荐算法炼丹笔记：Facebook向量召回双塔模型
炼丹笔记
12-31 2652
作者：十方，公众号：炼丹笔记不知道多少人还记得 《做向量召回 All You Need is 双塔》那篇，那篇介绍了国内外各个大厂做召回的用的双塔模型，其中提到一篇《Embeding-based Retrieval in FaceBook Search》，还跟大家强烈建议，该篇必读，不知道有多少炼丹师认真读了？什么？你还没读！没关系，十方今天就给大家解读这篇论文。很多炼丹师往往迷恋于各种复杂的网络...
负样本为王：评Facebook的向量召回算法
夕小瑶科技说
08-15 1462
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术有人的地方就会有江湖，就会有鄙视链存在，推荐系统中也不例外。排序、召回，尽管只是革命分工不同，但是我感觉待遇还是相差蛮大的排序排...
负样本为王：评Facebook的向量化召回算法
Tak-Wah Blog
07-30 2274
写在前面，转自：负样本为王：评Facebook的向量化召回算法 作者：石塔西 链接：https://zhuanlan.zhihu.com/p/165064102 来源：知乎 有人的地方就会有江湖，就会有鄙视链存在，推荐系统中也不例外。排序、召回，尽管只是革命分工不同，但是我感觉待遇还是相差蛮大的。 排序 排序，特别是精排，处于整个链条的最后一环，方便直接对业务指标发力。比如优化时长，只要排序模型里，样本加个权就可以了。 排序由于候选集较小，所以有时间使用复杂模型，各种NN，各种Attentio
Facebook的多任务多模态向量召回模型Que2Search
u013250861的博客
03-06 606
对于一个搜索系统来说，通常采用的召回都是基于倒排索引的召回，简单来说就是需要对item侧建立倒排索引，在检索的过程中，对query分词，根据分词结果去倒排索引中查找词匹配的item，简单的流程如下图所示：在传统的检索过程中，通常存在语义上的问题，比如Query为“连衣裙”，此时根据词匹配就检索不到核心词为“长裙”的item，为了解决这样的问题，需要对Query进行扩展，将其扩展成相似的query，以此来实现语义匹配的问题。当然，词匹配的方式的一大优势就是相关性解决的比较好。
EBR开山之作：Embedding-based Retrieval in Facebook Search
Braylon的博客
02-22 1161
推荐场景中的召回方法，主要针对embedding-based retireval方法的学习总结。
embedding向量召回论文分享
qq_20879591的博客
09-26 1390
在学习推荐系统算法模型时，少不了embedding的应用，尤其是深度学习时代。Embedding最早来自w2v，之后提出了item2vec。在此之后，物品embedding向两个方向发展。1) 一部分是序列，较为有名的：graph embedding，deepwalk，node2vec，line。2) 另一个方向，是利用有监督的反馈，从远及近的重要论文有dssm，youtube dnn，facebook ebr，alibaba mind。
吊打 CLIP 平均10个点，Meta 多模态通用模型 FLAVA真香啊
机器学习社区
01-05 1668
厉害了！作者将单一模型运用于三个不同领域的不同任务，结构简单且训练直观，还能有着出色的表现。 自Transformer横空出世，从NLP到CV，再到今天的多模态，无数基于Transformer的模型被应用于各类任务，似乎真的印证了当年文章的标题“Transformer is ALL you need”。然而，纯粹的NLP任务有BERT、RoBERTa，CV任务有ViT，多模态任务又有VLBERT、OSCAR，虽然都是基于Transformer的结构，但是仍然是针对不同任务设计不同模型，那么“万能”的T..
AI绘画工具Stable Diffusion【模型篇】：Embedding模型
A1353192296的博客
04-17 4753
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
AI绘图提示词/咒语/词缀/关键词使用指南（Stable Diffusion Prompt 设计师操作手册）
热门推荐
暂时先用这个名字
04-06 5万+
提示词（prompt）由多个词缀构成。提示词分为正向提示词（）和反向提示词（），用来告诉AI哪些需要，哪些不需要。反向提示词就是我们不想出现什么的描述。例：NSFW 不适合在工作时看的内容，包括限制级，还有低画质相关和一些容易变形身体部位的描述等。注：可下载 Easynegative 的文件，它已把一些常用的反向提示词整合在一起了，我们只需输入关键词就能得到较好效果。把它放到文件夹，需要触发时在反向提示词中输入激活。词缀的权重默认值都是1，从左到右依次减弱，权重会影响画面生成结果。
Stable Diffusion - 常用的负向提示 Embeddings 解析与 坐姿 (Sitting) 提示词
AGI
08-08 1万+
负向 Embeddings 是用于提高 StableDiffusion 生成图像质量的技术，可以避免生成一些不符合预期的图像特征，比如画崩、变形、多余的部位等。原理是将一些不希望出现的图像特征转换为向量表示，然后作为负面提示，输入到 StableDiffusion 算法中，使得算法在优化过程中，尽量远离这些向量所代表的图像分布。
正样本和负样本，前景类/ 背景，hard negative mining
Hali_Botebie的博客
04-28 4317
正样本（positive example ）和负样本（negative example） 单独针对某个分类，与GT的IOU大于上门限的bbox是正样例，同理，与GT的IOU低于下门限bbox是负样例， 例如： 如下图，对“person”分类时，其他bbox均为负样本 easy negative example 和 hard negative example easy negative example 信息量很少的bbox，易分类的负样本，如上图中的红色 bbox hard negative example
如何使用负向提示词 Stable Diffusion Prompt part2 + Negative Prompt (追加基本篇)
Guodaye_AITechLab的博客
08-09 290
# 在上一次stablediffusion提示词介绍中，像大家介绍了通过几个常用的提示词及简单操作，就实现了输出图片质量的飞越。 上次最后出来的结果，就结了论和上次的提示并不够！所以我追加这篇来强化上次的结果，让真正的美少女出来！ 反向提示词EasyNegative打包下载地址：https://huggingface.co/datasets/gsdf/EasyNegative/tree/main...
不会写SD WebUI 的负面提示词？用这几款Embedding模型一键搞定！效果好到爆炸！
最新发布
qq_41314882的博客
09-09 1800
Embedding（嵌入） 也叫 textual inversion （文本反转），它的作用是通过训练少量的图像，让大模型快速学会一个新的概念。比如你想在 WebUI 中生成一张《电锯人》中玛奇玛（Makima）这个角色的图像，选择一个动漫风大模型（比如 anything），即使在提示词中准确描述“一个女孩，粉色的长发，扎着辫子，白衬衫，黑色领带，黑色裤子”等角色形象特征，生成的图像与人物原型也并不相似。
Stable Diffusion - 墨幽人造人 模型与 Tag 配置
AGI
07-05 7751
真正的首个可以称之为人造人的“墨幽”。完全真正对墨幽进行了跨世代的全面升级。
推荐召回阶段-正负样本选取准则
来自Daisy和她的单程车票
09-23 2716
粗排-正负样本选取准则 精排目的是在优中（用户感兴趣的商品中）择优（挑选用户最感兴趣的商品）、粗排从商品池子中挑选出用户感兴趣的商品，了解这一区分性后，对精排和粗排正负样本的选取便会采取不同方式 【结论】 文中指出： i 采用曝光未点击的样本直接作为负样本，比随机采样效果差； ii 仅仅采用hard negative策略（不加入easy negative），也比随机采样效果差（easy negative很有必要，easy ：hard negative=100：1），且采用上一轮模型结果101-500的样本进
将E-R图转换为关系模型的方法
玄衫路人
06-23 4万+
将E-R图转换为关系模型的转换规则如下： 1）实体集转换为关系 -实体集对应于一个关系 -关系名：与实体集同名。 -属性：实体集的所有属性。 -主码：实体集的主码。 2）联系转换为关系 联系转换成为关系模式。联系转换成为关系模式时，要根据联系方式的不同采用不同的转换方式 ①1:1联系的转换方法 a）将1:1联系转换为一个独立的关系：与该联系相连的各实体的码以及联系本身的属性均转换为关系的 属性，且每个实体的码均是该关系的候选码。 b）...
Facebook搜索中的嵌入式检索技术
EBR的核心在于将文本数据（如用户查询、帖子、评论等）转化为低维向量空间中的“嵌入”（embeddings），这些向量能够捕捉到文本的语义信息。这使得机器可以理解文本之间的关系，而不仅仅是基于关键词的匹配。在...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值