推荐系统-召回-向量召回

已于 2022-05-10 06:14:26 修改
阅读量565 收藏 1
点赞数 1
分类专栏： 推荐算法 文章标签： 机器学习 推荐算法 深度学习
于 2022-05-10 05:51:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14873781/article/details/124679495
版权

1. 离散特征

步骤：

  1. 建立字典：把类别映射成序号

  2. 向量化：把序号映射成向量

    a. one-hot 编码：把序号映射成高纬稀疏向量
    b. embedding：把序号映射成低维稠密向量

one-hot 编码one-hot例1
one-hot例2
one-hot局限性
embedding
embedding 例1
embedding 例1
embedding 例2
one-hot和embedding之间的关系

2.矩阵补充模型 matrix completion

基于embedding做推荐



数据集
训练
每次更新矩阵a和b的一列，学出矩阵a和b
矩阵补充
每一列是一个物品
每一行是一个用户
用绿色位置训练模型，预估出灰色位置的分数，也就是把矩阵元素补全
补全之后可以做推荐，把较高的物品推荐给用户

矩阵补全缺点1
矩阵补全缺点2
矩阵补全缺点3

3.双塔模型

用户表征
物品表征
双塔模型
在这里插入图片描述
双塔模型输出：预估用户对物品的兴趣

在这里插入图片描述
在这里插入图片描述
正负样本训练

pairwise训练思想：对正样本兴趣尽量大，对负样本兴趣尽量小
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 双塔模型正负样本

de一颗小白菜
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能-项目实践-文档向量-本项目用于文档问答，使用向量嵌入 + ES 做召回，再使用LLM做文档问答.zip
12-28
人工智能-项目实践-文档向量-本项目用于文档问答，使用向量嵌入 + ES 做召回，再使用LLM做文档问答 启动方式 安装ElasticSearch（版本7.17.0）和Milvus（版本2.2.1），建议使用Docker搭建环境 安装Python第三方模块，参考requirements.txt 启动web服务: python3 server.py
SIGKDD2021 | 淘宝搜索向量化召回实践
淘系技术
08-25 3770
论文下载链接：https://arxiv.org/abs/2106.09297摘要近年来，随着深度学习在图像、自然语言处理等领域的蓬勃发展，越来越多的工业界搜索和推荐系统将大规模深度学习应...
推荐系统学习笔记（四）--基于向量的召回
最新发布
weixin_44880995的博客
05-21 373
离散特征：性别，国籍，英文单词，物品id，用户id处理：建立字典：eg：china = 1向量化：eg：one-hot /embedding（低维稠密向量）
人工智能-项目实践-信息检索-基于chatglm实现的知识问答系统，本地知识库经过es检索系统召回+text2vec向量相似度计
02-29
基于chatglm实现的知识问答系统，本地知识库经过es检索系统召回+text2vec向量相似度计算再召回 如何运行 1. 安装requirements.txt pip install -r requirements.txt 2. 运行ui.py python ui.py
1-4 基于向量的召回算法及其在个性化广告新闻中的应用实践-刘政.pdf
08-18
1-4 基于向量的召回算法及其在个性化广告新闻中的应用实践-刘政.pdf
【推荐系统】向量召回算法 HNSW
To Be A Coder
03-08 2376
在推荐和搜索场景下，召回recall是一个关键的步骤，这个步骤通常需要在海量的目标中，召回部分与用户特征相近的item，所以有一个快速，并且准去的算法是非常有必要的，HNSW(Hierarchical Navigable Small World)就是其中一种方法，当然HNSW也不止用于此。 对于召回的场景下，每个需要进行召回的item已经用户的特征都是多维的，在多个特征维度的空间中，找到与用户特征最相近的topK。所以召回的问题其实可以抽象化为在多维空间中，找到与某个点邻近的topK个点。 HNSW(H.
淘宝搜索的向量召回算法MGDSPR
null的专栏
04-02 2027
阿里的模型相对而言是相当复杂的，里面涉及到了大量的attention的计算，这会给在线任务带来巨大的压力。从原理上来说，低一点是对Query进行多粒度的分析，试图能够挖掘多粒度的语义信息。第二点是用户行为的挖掘，相当的复杂了。第三点是对相关性的控制，设立了独立的模块用于控制相关性。其他的如样本的选择，softmax中的温度参数等都差不太多。query侧进行了多粒度的语义分析，但item侧相对就简单了很多，这个对相关性的建模是不太友好的；
前沿重器[28] | 前沿的向量召回都是怎么做的
baidu_25854831的博客
07-03 906
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。近期，我更新了我的文章合集，累积起来有60w字，在这：CS的陋室60w字原创算法经验分享-2022版。往期回顾前沿重器[19] | 预训练在美团搜索广告中的应用前沿重器[20] | 文本分类和意图识别调研思考前...
推荐系统(4):深入浅出向量召回检索技术
yanianthe的博客
03-30 1989
推荐系统中，向量召回如何实现？
人工智能：大模型训练向量召回概念探讨
十年运维开发经验的王义杰在此分享自己的知识和经验
03-13 1147
人工智能的大模型训练是一个复杂且资源密集的过程，其中一个关键环节是向量召回。向量召回是指在给定查询的情况下，从海量数据中快速有效地检索出最相关的信息或项目的技术。这一概念在信息检索、推荐系统、自然语言处理等领域有着广泛的应用。接下来，我们将深入探讨向量召回的基本原理、应用场景以及它在人工智能模型训练中的重要性。
通俗讲解【布尔召回和向量化召回】
从事后台开发11年，欢迎关注，一起交流学习新技术
03-28 970
向量化召回之所以得名，是因为其核心思想是将用户特征和物料特征全部用向量来表示，然后基于这些向量来计算用户与物料的相似度、用户与用户的相似度以及物料与物料的相似度。这对系统的实时性能和准确性提出了很高的要求，需要不断优化系统的架构和算法，以提高响应速度和推荐准确性。向量化召回的优点在于能够捕捉用户和物料之间的潜在关系，提高了召回的准确性和多样性。其中，召回技术算的上是搜索推荐的核心环节，主要有布尔召回、向量化召回、文本召回、KV索引召回等几种，本文主要来对比最常见的布尔召回和向量化召回。
人工智能-项目实践-信息检索-基于向量召回的检索式对话系统解决方案
02-29
基于向量召回的检索式对话系统解决方案 一种 FAQ 向量语义检索解决方案 基于 Sklearn Kmeans 聚类的负采样 基于 Transformers 的 BertForSiameseNetwork（Bert双塔模型）微调训练 基于 TextBrewer 的模型蒸馏...
7-7+360召回系统演进.pdf
03-18
【360召回系统演进】是360公司展示广告算法组在不断发展和完善中形成的一个关键组件。展示广告业务主要是通过Ad Exchange、DSP（需求方平台）等平台，将广告主的广告推送给合适的用户。360点睛DSP作为其中一员，需要...
hnsw 大规模向量检索
06-23
使用hnswlib完成大规模向量检索，一般用于推荐系统中item2item的相似计算，选取物品最近的K个召回结果，相关介绍参考本人博客。
4-9+旅⾏推荐场景下召回实践之路.pdf
03-18
在旅行推荐场景中，召回策略是个性化推荐系统的关键组成部分，旨在从海量的商品库中筛选出最有可能引起用户兴趣的项目。飞猪个性化推荐小组在实践中遇到了多种挑战，包括冷启动用户的召回、行程的表达与召回、基于...
《向量数据库》-向量数据库 Milvus 是什么.pdf
07-08
内容概要：Milvus 是什么 Milvus 是一款开源的向量数据库，...此外，Milvus 还可以对标量数据进行过滤，进一步提高了召回率，增强了搜索的灵活性。 能学到什么： 向量数据库的概念和整体架构 出品：《向量数据库指南》
亚马逊云科技带您利用向量召回，构建基于大语言模型的知识问答应用
m0_74746655的博客
10-11 267
这个过程由于是离线的一次性处理，所以这里可以借助能力更强的商用LLM模型，生成的内容可能会更好。但这里需要注意的是，对于特别垂直的领域，能力很强的商业LLM也可能无法提取出比较合适的问题，一般观察到的现象是提取出的问题过于直接，或者提取出的问题无实际意义，这部分建议走一遍人工审核。【注意】图上的KDE交点并不能直接作为召回是否有效的阈值，因为以上的微调数据是基于知识的一问一答对训练出来的，和真实的用户输入在分布上还是有很大区别，在我们的实践中，对应的阈值需要多次尝试确定，一般要比KDE交点要高。
向量召回：深入评估离线体系，探索优质召回方法
丨汀、的博客
10-17 169
向量召回：深入评估离线体系，探索优质召回方法
推荐系统-召回-概述(三)：向量化
u013250861的博客
12-01 937
在本文之前的几篇文章里，曾经提及对用户或物品的embedding，实际上，embedding就是将实体的自然表达变化成向量化表达的方法。将实体（用户、物品、图像等）表示为向量有什么用处呢？因为基于文字或者图片表达的实体，并不能够被计算机理解，因此它们彼此之间无法进行相互比较，而一旦转换成计算机可理解的向量，则能够计算它们彼此的距离，从而可以对他们进行相似度的计算了。
ada词向量召回的原理
06-07
ADA召回（ADA Recall）是一种基于词向量的近似匹配算法，用于在大规模的语料库中快速召回与查询词语相似的词语。其原理是将每个词语映射到一个高维空间中，使得在该空间中，语义相似的词语距离较近。然后，对于查询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值