推荐
文章平均质量分 71
江南汪
这个作者很懒,什么都没留下…
展开
-
Sparrow项目疑问解答
1.召回层怎么处理,排序层用到了哪些深度学习模型?召回层可以有单策略召回,比如用户对电影A评分超过4分,就将与A电影风格相同且评分在前50以内的电影作为召回层后的候选集,多路召回可以根据不同的策略生成Top K个物品,再将这不同策略生成的Top K个物品组成真正的候选集。本项目采用embedding召回的方法,计算用户embedding和物品embedding之间相似性,embedding将多路召回使用的热门电影、、物品属性等信息添加到embedding向量中。2.Spark工作原理:Stage 内部原创 2022-03-08 11:14:05 · 203 阅读 · 0 评论 -
SparrowRecSys电影推荐系统项目(四)模型评估
SparrowRecSys电影推荐系统项目(四)模型评估一、模型评估方法:1.离线评估:Holdout检验、交叉检验、自助法离线Replay:一、模型评估方法:1.离线评估:定义:在将模型部署到线上环境之前,在离线环境下进行的评估。Holdout检验、交叉检验、自助法Holdout检验:将样本集随机划分为训练集和测试集,比如将样本集70%作为训练集,30%作为测试集。优点:简单使用。缺点:划分训练集和测试机具有随机性,导致评价结果也具有随机性。交叉检验:将所有样本划分为k个大小相等的样本子集,依原创 2022-03-03 10:47:45 · 3065 阅读 · 0 评论 -
SparrowRecys——线上服务
SparrowRecys——线上服务一、线上服务主要内容二、本项目选择服务器——Jetty服务器三、存储模块redis一、线上服务主要内容把候选物品和离线处理好的特征载入到服务器将离线模型上线在线进行模型服务(model serving)如何做到负载均衡、缓存、推荐服务降级机制:二、本项目选择服务器——Jetty服务器Jetty服务器public class RecSysServer { //主函数,创建推荐服务器并运行 public static void main(S原创 2022-02-27 22:12:29 · 907 阅读 · 0 评论 -
推荐领域的思考
1。用户embedding和物品embedding在什么情况下可以计算相似性?原创 2022-02-22 21:46:01 · 167 阅读 · 0 评论 -
SparrowRecys——embedding
Embedding向量一、Embedding是什么?二、生成embedding方法一、Embedding是什么?Embedding向量就是用一个数值向量表示一个对象的方法。由于One-Hot向量往往比较稀疏,Embedding向量可以将稀疏高维特征向量转换成稠密低维特征向量,embedding向量可以融合大量有价值信息,表达能力更强。二、生成embedding方法生成embedding方法:word2vec,将词向量生成embedding向量。word2vec模型有两种生成embedding向量方原创 2022-02-21 15:47:48 · 663 阅读 · 0 评论 -
SparrowRecys——推荐模型
推荐经典算法一、协同过滤二、矩阵分解一、协同过滤协同过滤算法就是协同大家的反馈、评价、意见对海量的信息进行过滤,筛选出用户感兴趣的信息。“协同”过滤算法:让用户考虑与自己兴趣相似用户的意见,预测第一步就是找到与用户兴趣相似的Top n 用户,n为超参数,综合top n个用户对物品的评价,得出用户的意见。那么怎么找出相似用户呢即top n用户?计算用户相似度:用户对商品的评价可以看做是一个偏好矩阵,偏好矩阵的每一个行向量可以看做是用户embedding向量。最常用的方法是余弦相似度:夹角与相原创 2022-02-20 21:36:37 · 584 阅读 · 0 评论 -
机器学习面经
机器学习面经为了准备实习和秋招,准备下面经。题目来源1.介绍双塔模型双塔模型使用于推荐系统的召回层和排序层,模型结构分为两部分:用户塔、item塔。比如user特征经过DNN生成user embedding,item特征经过DNN生成item-embedding,常见操作是对user-embedding和item-embedding自检的相似度,返回最近的Top K 个item.疑问:user和item是在同一空间吗? 在,但目前不知道怎么解释。2.双塔embedding做内积+sigm原创 2022-02-20 15:57:40 · 945 阅读 · 0 评论 -
ImportError: cannot import name ‘OneHotEncoderEstimator‘
from pyspark.ml.feature import OneHotEncoderEstimator报错:ImportError: cannot import name ‘OneHotEncoderEstimator’解决方法,去pyspark.ml.feature查看是否有OneHotEncoderEstimator,查看结果:解决方案:from pyspark.ml.feature import OneHotEncoder...原创 2022-01-10 15:16:20 · 840 阅读 · 0 评论 -
SparrowRecSys电影推荐系统项目(二)特征工程
SparrowRecSys电影推荐系统项目(二)特征工程前言一、特征工程是什么?二、推荐系统常用特征1.用户行为数据2.用户关系数据3.属性、标签类数据4.内容类数据5.场景信息(上下文信息)总结前言推荐系统中用户信息、物品信息、场景信息非常庞杂,如何在冗余的数据中提取到对最终的推荐效果起到决定作用的信息是算法工程师需要去考虑的,这也就是特征工程的魅力。一、特征工程是什么?特征定义:特征是对某个行为过程相关信息的抽象表达。信息必须得表达为数学形式才可以输入到机器学习模型中。电影推荐系统常见的影响因原创 2022-01-09 14:12:53 · 1087 阅读 · 0 评论