推荐系统二---召回算法和业界最佳实践（一）

最新推荐文章于 2024-08-27 07:30:00 发布
最新推荐文章于 2024-08-27 07:30:00 发布
阅读量1.7w 收藏 46
点赞数 4
分类专栏： 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40924580/article/details/85023267
版权
本文探讨了推荐系统中Match & Rank的框架，包括Match算法的应用，如猜你喜欢、相似推荐和搭配推荐。重点介绍了协同过滤（User-based和Item-based）及其优化实践，如热门用户降权、实时I2I和Hybrid I2I。此外，还讨论了SVD在模型中的不足以及Factorization Machines的优势。最后，文章指出Rating Prediction的局限性和转向Top-N推荐的重要性。
摘要由CSDN通过智能技术生成

业界通用推荐系统框架结构如下：
在这里插入图片描述
Match & Rank
定义：Match基于当前user(profile、history)和context,快速在全库里找到TopN最相关的item，给Rank来做小范围综合多目标最大化
通常做法：用各种算法做召回，比如user/item/model-based CF,Content-based,Demographic-based,DNN-Embedding-based等，做粗排之后交由后面的Rank层做更精细的排序。

1、Match算法典型应用

(1) 猜你喜欢
多样推荐
(2) 相似推荐
看了还看
(3)搭配推荐
买了还买
在这里插入图片描述

Outline

2、Collaborative Filtering

“CF makes predictions (filtering) about a user’s interest by collecting preferences information from many users (collaborating)” —Wikipedia

(1)数学形式化：矩阵补全问题
在这里插入图片描述

(2)基于共现关系的 Collaborative Filtering 算法
•User-based CF •
多⽤于挖掘那些有共同兴趣的⼩团体，通常新颖性较好，但是准确性稍差
•Item-based CF •
侧重于挖掘item之间的关系，然后根据⽤户的历史⾏为来为⽤户⽣成推荐列表，相⽐user-based⽅法，item-based 的应⽤更为⼴泛。

在这里插入图片描述

实际计算中会有很多位置都为0，可以使用倒排表的形式
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

基于Item-based的算法调用示意图

最低0.47元/天 解锁文章
瑶子ove
关注
专栏目录
汽车之家推荐系统排序算法迭代之路
06-12 2681
导读：汽车之家的推荐系统紧随前沿技术，在支持内部多个推荐场景的同时，对外也有了一定的输出。未来我们期望汽车之家的推荐系统不只是前沿技术的应用者，更是推动者和创新者。本次分享的主题为汽车之家推荐系统排序算法迭代之路，主要包括： 汽车之家推荐系统 排序模型 特征及训练样本 未来计划的优化方向 01. 汽车之家推荐系统 1.概述 汽车之家推荐系统上线已有近5年历史，主要给用户推荐个性化的汽车之家资源。推荐系统的上线是汽车之家 APP 生态内容以分类体系分发转变为个性化推荐的重要里程碑。汽车之家推荐..
九章算法: 深度学习、强化学习、机器学习、推荐系统、图像处理、文本处理、序列处理、搜索引擎、数据分析等
AI天才研究院
09-11 3596
随着计算机技术的飞速发展，人工智能和机器学习领域迎来蓬勃发展的时代，从“知识图谱”到“零售系统自动化”，人工智能技术正在改变着社会生活的方方面面。传统的人工智能技术都依赖于硬件上的复杂计算能力，如神经网络、决策树等，但对于实际生产场景来说，由于工程量、成本、可靠性等限制，这些方法无法满足需求。2017年1月，百度开源了一套基于TensorFlow框架的AI开发工具包，称之为PaddlePaddle。这一工具包提供多种高级API接口，支持主流机器学习算法，在人工智能领域崭露头角。
推荐系统常用算法_一文带你了解推荐系统——常用召回和排序技术
weixin_39932300的博客
11-22 4327
现代移动互联网充斥着各种各样的信息，如购物、新闻，短视频，直播等等，经常使用户迷失在海量的信息中，无法找到真正感兴趣的内容。因此推荐算法应运而生，应用于各大领域：“吃”有美团、饿了么等；“穿”有淘宝等；“住”有蛋壳、自如等；“行”有汽车之家等；“娱乐”有抖音、快手等；“旅行”有携程、去哪儿等。当你打开App，就会有各种的推荐场景映入眼帘，例如：猜你喜欢、为你推荐等。推荐主要是根据用户的历史行为、相...
【创新实训】推荐系统之召回池设计
_Mogician的博客
06-21 2953
召回池 我的想法是，输入形式为batch时模型总计算时间应当比一个一个喂小不少，因此可以建立一个比如200为大小的召回池，最多每隔0.5s送入模型进行计算，当waiting list已经到达了200，立即执行计算，重置定时任务。 消息队列 python的queue库是一个线程安全的队列，可以用作消息队列。 其基本用法参考： Python之queue模块以及生产消费者模型 先写一个类包装 class Pack: def __init__(self, flag=False, _id=None, seq=
ANN向量化召回
a12212wd的博客
08-21 970
取决于不同的召回方式i2i召回：x,y都是item，我们认为同一个用户在同一个session交互过的两个item在向量空间是相近的，体现两个item之间的“相似性”。u2i召回：x是user，y是item。一个用户与其交互(e.g., 点击、观看、购买)过的item应该是相近的，体现user与item之间的“匹配性”。u2u召回：x,y都是user。比如使用孪生网络，则x是user一半的交互历史，y是同一用户另一半交互历史，二者在向量空间应该是相近的，体现“同一性”。
常用召回算法
MaYingColdPlay的博客
03-19 470
DSSM召回模型 https://zhuanlan.zhihu.com/p/152251002
「从零入门推荐系统」07：召回算法之规则策略方法
大数据与人工智能
12-17 881
作者|gongyouliu编辑 |gongyouliu我们在上一篇文章中对推荐系统中的召回算法进行了简单梳理。从本章开始，我们会花3章的篇幅来详细介绍推荐系统召回算法的具体思路和实现细节。上一章中我们提到了可以按照算法复杂度将召回算法分为3类，接下来的3章我们按照这个分类来介绍召回算法，我们会分别讲解规则策略召回算法、基础召回算法、高阶召回算法。本章我们介绍规则策略召回算法。下面我们分5小结...
推荐算法--召回
BeaNewer的博客
12-06 1257
召回算法的基本逻辑流程 目的 尽可能多维度，相对准确的找到和用户可能相关的物品候选集。 这一阶段主要是关注与 user-item的相关性，以及物品本身的质量 基本召回路径 推荐算法本质上也是为了给用户找到合适的物品， 那么依据用户到物品的不同路径，可以分为以下几种 方法。 u2i：直接计算用户和物品的相似度 u2i2i：基于物品的协同过滤，先得到用户的行为列表，获取对物品的喜好，然后查i2i，推荐相似物品 u2u2i：基于用户的协同过滤，先计算用户的相似度：余弦相似度，Jaccard公式，再推荐其他用户
推荐系统实战第02课召回算法和业界最佳实践Part1
酱油哥的博客
07-07 1167
推荐系统实战第02课召回算法和业界最佳实践Part1推荐系统的 Match 模块介绍Match 算法典型应⽤Collaborative Filtering 算法介绍基于共现关系的 Collaborative Filtering 算法UserCF、ItemCF 优缺点对比最新 CF算法 实践Item CF 算法 最新实践Model Based CF 演变历程Model Based CF 问题定义Mo...
推荐系统二——深入理解推荐系统召回算法（1）
qq_32907491的博客
10-16 2372
作为【推荐系统】系列文章的第二篇，将以“召回”作为今天的主角，会从四个方面来介绍召回的不同算法方式，即基于内容的召回、协同过滤、基于FM模型召回和基于深度学习的方法。 一、背景介绍 召回是推荐系统的第一阶段，主要根据用户和商品部分特征，从海量的物品库里，快速找回一小部分用户潜在感兴趣的物品，然后交给排序环节。这部分需要处理的数据量非常大，速度要求快，所有使用的策略、模型和特征都不能太复杂。下面主要介绍四种常见的召回方法： 基于内容的召回：使用item之间的相似性来推荐与用户喜欢的item相似的item
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
06-25 365
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 1516
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
最新发布
丨汀、的博客
08-27 280
打造高效精准的RAG系统：构建智能知识切分降噪体系，强化Query改写与意图抽取能力、精细化提升数据召回策略和后置处理技术
JAVA召回算法_backpropagation算法示例
weixin_39531635的博客
02-25 179
backpropagation算法示例下面举个例子，假设在某个mini-batch的有样本X和标签Y，其中\(X\in R^{m\times 2}, Y\in R^{m\times 1}\)，现在有个两层的网络，对应的计算如下：\[\begin{split}i_1 &= XW_1+ b_1\\o_1 &= sigmoid(i_1)\\i_2 &= o_1W_2 + b_2\...
推荐系统 - 基于用户的协同召回算法
马飞飞的博客
08-09 978
说明 基于用户对物品交互的相似度进行top N推荐。 代码 分为协同函数和主函数两个部分，数据集来源这里。链接：https://pan.baidu.com/s/1sQsHUgL__kwWAghe7TvMZA提取码：18bz # coding: utf-8 -*- import math import pandas as pd class Us...
ALS召回算法
点点的博客
12-01 1012
import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.function.Function; import org.apache.spark.ml.evaluation.RegressionEvaluator; import org.apache.spark.ml.recommendation.ALS; ...
推荐系统 - DeepFM架构详解
热门推荐
马飞飞的博客
08-15 3万+
说明 理论部分请参照：https://www.jianshu.com/p/6f1c2643d31b，这里主要针对源码进行解读，填一些坑。 简单介绍 1.DeepFM可以看做是从FM基础上衍生的算法，将Deep与FM相结合，用FM做特征间低阶组合，用Deep NN部分做特征间高阶组合，通过并行的方式组合两种方法，使得最终的架构具有以下特点。 （1） 不需要预训练 FM 得到隐向量； ...
8、DeepFM介绍
weixin_45063703的博客
06-05 1274
对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组合。 在不同的推荐场景中，低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。 简单线性模型，缺乏学习high-order特征的能力，很难从训练样本中学习到从未出现或极少出现的重要特征。深层模型善于捕捉high-order复杂特征。现有模型用于CTR预估的有很多尝试，如CNN/RNN/FNN/PNN/W&D等，但都有各自的问题。DeepFM 是华为诺亚方舟实验室在 2017 年提出的模型。 可以看做是从FM基础上衍生的算法
推荐系统二——深入理解推荐系统召回算法（2）
qq_32907491的博客
10-16 840
紧接上文： 推荐系统一——深入理解推荐系统召回算法（1） 四、基于FM模型召回 FM是Steffen Rendle在2010年提出的，FM算法的核心在于特征组合，以此来减少人工参与特征组合工作。对于FM，其优势可分以下三点: FM能处理数据高度稀疏场景，SVM则不能； FM具有线性的计算复杂度，而SVM依赖于support vector。 FM能够在任意的实数特征向量中生效。 FM的数据结构如下： FM特征数据结构：User相关、Item相关、类别相关的特征、历史行为数据特征等等，最后一列可看作是U
推荐系统之召回
lancer的博客
02-24 349
推荐系统为什么需要召回？有哪些召回？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值