推荐系统
文章平均质量分 76
以理论为线索,逐步深入推荐系统开发各个环节,掌握常用推荐方式,打造完整推荐系统工作流,提升工程化编码能力和思维能力
海洋 之心
阿里云社区专家博主,图神经网络-大数据-推荐系统研究者,专注于计算机领域前沿技术的分享等人工智能算法研究工作
展开
-
Multi-task Learning(多任务学习)和Curriculum Learning(课程学习)
`Multi-task Learning`(多任务学习)和 `Curriculum Learning`(课程学习)是机器学习中两种常见的训练技巧,它们分别用于优化模型的训练过程和提高模型的泛化能力。原创 2023-04-12 08:29:57 · 349 阅读 · 0 评论 -
推荐系统中的元路径(meta-path)
推荐系统中的元路径(meta-path)是指用于描述不同类型节点之间关系的路径。在推荐系统中,元路径可以用来挖掘节点之间的相似性和影响力,从而提高推荐的准确性和多样性。原创 2023-04-12 08:01:47 · 1634 阅读 · 0 评论 -
推荐系统中召回率Recall计算方式附代码
Recall(召回率)是指在所有实际有交互的用户 - 物品对中,推荐系统成功预测出的比例。具体来说,设所有有交互的用户 - 物品对为S,推荐系统预测出的用户 - 物品对为T,则Recall的计算公式为:原创 2023-04-09 19:55:27 · 1126 阅读 · 0 评论 -
解决ImportError: cannot import name ‘parse_args‘ from ‘parser‘ (unknown location)
使用 `PyCharm` 打开项目运行,出现 `ImportError: cannot import name 'parse_args' from 'parser' (unknown location)`原创 2023-04-09 15:57:11 · 2270 阅读 · 2 评论 -
Pair-wise和Point-wise模型优化方法
Pair-wise和Point-wise是两种常见的机器学习模型方法,用于处理不同类型的数据并学习它们之间的关系。原创 2023-04-07 19:57:25 · 628 阅读 · 1 评论 -
图神经网络如何构建超图HyperGraph
在图论中,超图(Hypergraph)是一种广义的图模型,它允许一条边连接多个顶点。在超图中,一条边不再是简单地连接两个顶点,而是可以连接任意多个顶点。原创 2023-04-07 19:30:57 · 2275 阅读 · 0 评论 -
推荐系统中常用损失函数
推荐系统的损失函数是用来衡量模型预测结果与真实结果之间的差异,是评价推荐系统性能的重要指标之一。选择合适的损失函数可以帮助推荐系统提高预测精度,提高用户满意度,并且可以在训练过程中更好地指导模型的学习过程。原创 2023-04-07 10:46:07 · 1648 阅读 · 1 评论 -
Markdown打出损失函数中的字母L
这个字母怎么打出来呢,其实这个字母不是L,如果想要打出它,可以使用。原创 2023-04-07 08:58:15 · 1093 阅读 · 0 评论 -
【推荐系统】推荐系统数据流的经典技术架构+微软、阿里、微软等10大深度学习CTR模型最全演化图谱
所谓流处理平台,是将日志以流的形式进行mini batch处理的准实时计算平台,流处理平台计算出的特征可以立马存入特征数据库供推荐系统模型使用,虽然无法实时的根据用户行为改变用户结果,但分钟级别的延迟基本可以保证用户的推荐结果准实时地受到之前行为的影响。...原创 2022-07-07 23:12:32 · 1586 阅读 · 2 评论 -
【推荐系统】美团外卖推荐场景的深度位置交互网络DPIN的突破与畅想
今天介绍一篇美团在SIGIR 2021中稿的一篇paper,主要介绍在解决点击率预估中位置偏置(position-bias)方面的一些工作,一起来看一下。点击率(CTR)预测在在线广告和推荐系统中起着重要的作用。在实践中,对CTR模型的培训依赖于点击数据,而在较高的位置上,从本质上偏向于更高的位置,因为较高的位置在本质上有更高的CTR。现有的方法,如实际位置训练,具有固定位置推理和逆倾向加权训练,无位置推理,减轻了偏差问题。过往也有一些工作来解决位置偏置的问题。最常见的做法是将位置特征作为一个模型训练的一原创 2022-06-29 19:32:06 · 788 阅读 · 4 评论 -
【推荐系统论文精读系列】(十七)--Content-Aware Collaborative Music Recommendation Using Pre-trained Neural Networks
虽然内容是我们音乐收听喜好的基础,但音乐推荐的领先性能是通过基于协作过滤的方法实现的,这种方法利用了用户收听历史中的相似模式,而不是歌曲的音频内容。与此同时,协同过滤有一个众所周知的“冷启动”问题,也就是说,它无法处理没有人听过的新歌。将内容信息整合到协作过滤方法的努力在许多非音乐应用中都取得了成功,比如科学文章推荐。受相关工作的启发,我们将语义标签信息训练成一个神经网络作为内容模型,并将其作为协作过滤模型的先决条件。这样的系统仍然允许用户监听数据“为自己说话”。在百万歌曲数据集上进行了测试,结果表明该系统原创 2021-12-29 13:17:43 · 506 阅读 · 0 评论 -
【推荐系统论文精读系列】(十六)--Locally Connected Deep Learning Framework for Industrial-scale Recommender Systems
在这项工作中,我们提出了一个局部连接的深度学习框架推荐系统,该框架将DNN的模型复杂性降低了几个数量级。我们利用Wide& Deep模型的思想进一步扩展了框架。实验表明,该方法能在较短的运行时间内取得较好的效果。原创 2021-12-26 11:55:16 · 364 阅读 · 0 评论 -
【推荐系统论文精读系列】(十五)--Examples-Rules Guided Deep Neural Network for Makeup Recommendation
在本文中,我们考虑了一个全自动补妆推荐系统,并提出了一种新的例子-规则引导的深度神经网络方法。该框架由三个阶段组成。首先,将与化妆相关的面部特征进行结构化编码。其次,这些面部特征被输入到示例中——规则引导的深度神经推荐模型,该模型将Before-After图像和化妆师知识两两结合使用。最后,为了将推荐的妆型可视化,开发了一个自动妆型合成系统。为此,我们采集了一个新的Before-After面部化妆数据库,并手工标注,通过知识库系统对化妆师的知识进行建模。该框架的性能是通过广泛的实验分析来评估的。实验验证了人原创 2021-12-24 18:13:11 · 2202 阅读 · 0 评论 -
【推荐系统】YouTube推荐系统架构的十大工程问题
YouTube是世界上最大的创建、分享和发现视频内容的平台。YouTube的建议负责帮助超过10亿用户从不断增长的视频语料库中发现个性化内容。在本文中,我们将重点关注深度学习最近对YouTube视频推荐系统所产生的巨大影响。该图说明了在YouTube移动应用程序主页上的建议。从三个主要的角度来看,推荐YouTube上的视频是极具挑战性的原创 2021-12-19 16:26:21 · 2348 阅读 · 0 评论 -
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
推荐系统的出现,有效地缓解了信息过载的问题。而传统的推荐系统,要么忽略用户和物品的丰富属性信息,如用户的人口统计特征、物品的内容特征等,面对稀疏性问题,要么采用全连接网络连接特征信息,忽略不同属性信息之间的交互。本文提出了基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型,该模型引入了用户和物品的特征信息,并采用不同信息域之间的交叉积来学习交叉特征。此外,还利用注意机制来区分不同交叉特征对预测结果的重要性。此外,ifdnamf采用深度神经网络来学习用户与项目之间的高阶交互。原创 2021-12-18 09:33:24 · 2611 阅读 · 3 评论 -
【推荐系统】浪潮之巅——深度学习推荐系列模型
深度学习推荐模型模型名称基本原理特点局限性CSDN链接AutoRec基于自编码器,对用户或者物品进行编码,利用自编码器的泛化能力进行推荐单隐层神经网咯结构简单,可实现快速训练和部署表达能力较差Go❤️Deep Crossing利用“Embedding层+多隐层+输出层”的经典深度学习框架,预完成特征的自动深度交叉经典的深度学习推荐模型框架利用全连接隐层进行特征交叉,针对性不强Go❤️NeuralCF将传统的矩阵分解中用户向量和物品向量的点积操作,换成原创 2021-11-30 17:23:46 · 2290 阅读 · 0 评论 -
【推荐系统论文精读系列】(十三)--Attentional Factorization Machines Learning the Weight of Feature Interactions
文章目录一、摘要二、介绍三、Attentional Factorization Machines3.1 模型3.1.1 Pair-wise Interaction Layer3.1.2 Attention-based Pooling Layer3.2 学习3.2.1 防止过拟合References论文名称:Attentional Factorization Machines Learning the Weight of Feature Interactions via Attention Networ原创 2021-11-28 21:22:40 · 1180 阅读 · 0 评论 -
【推荐系统论文精读系列】(十二)--Neural Factorization Machines for Sparse Predictive Analytics
文章目录一、摘要二、介绍三、特征交互建模3.1 因子分解机3.1.1 FM表达能力的限制3.2 深度神经网络3.2.1 DNN优化难点四、Neural Factorization Machines4.1 NFM模型4.1.1 Embedding layer4.1.2 Bi-Interaction-layer4.1.3 Hidden Layers4.1.4 Prediction Layer4.2 学习4.2.1 Dropout4.2.2 Batch NormalizationPreferences论文名原创 2021-11-27 17:28:35 · 1453 阅读 · 3 评论 -
【推荐系统论文精读系列】(十一)--DeepFM A Factorization-Machine based Neural Network for CTR Prediction
文章目录一、摘要二、介绍三、我们的方法3.1 DeepFMFM ComponentDeep Component3.2 与其他神经网络的关系FNNPNNWide&Deep总结References论文名称:DeepFM:A Factorization-Machine based Neural Network for CTR Prediction论文地址:DeepFM⚡本系列历史文章⚡【推荐系统论文精读系列】(一)–Amazon.com Recommendations【推荐系统论文精读系列原创 2021-11-25 17:47:29 · 1110 阅读 · 2 评论 -
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
文章目录Product-based Neural Networks for User Response Prediction一、摘要二、介绍三、相关工作四、深度学习用于CTR评估ReferencesProduct-based Neural Networks for User Response Prediction一、摘要预测用户的反应,如点击和转换,是非常重要的,并已发现它在许多网络应用程序中使用,包括推荐系统、网络搜索和在线广告。这些应用程序中的数据大多是分类的,包含多个字段;典型的表示是通过一个热原创 2021-11-23 13:54:38 · 1108 阅读 · 0 评论 -
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
文章目录Wide & Deep Learning for Recommender Systems一、摘要二、介绍三、推荐系统综述四、Wide&Deep学习4.1 Wide部分4.2 Deep部分4.3 联合训练 Wide&Deep ModelPreferenceWide & Deep Learning for Recommender Systems一、摘要具有非线性特征转化能力的广义线性模型被广泛用于大规模的分类和回归问题,对于那些输入数据是极度稀疏的情况下。通过使用交原创 2021-11-22 20:37:00 · 1246 阅读 · 0 评论 -
【推荐系统】TensorFlow复现论文Wide&Deep网络结构
文章目录一、导库二、数据处理三、搭建Wide&Deep模型3.1 构建输入层3.2 Embedding层3.3 Wide部分logits3.4 Deep部分logits3.5 Wide&Deep四、运行模型4.1 准备操作4.2 构建模型4.3 编译模型4.4 模型训练下图为Wide&Deep的模型结构图,该模型结合了线性模型的Memorization和神经网络的捕捉深层特征的Generation,将特征分为两个输入源分别输入Wide和Deep部分,最终将两个模型的logits进行原创 2021-11-22 12:14:46 · 692 阅读 · 2 评论 -
【推荐系统】TensorFlow复现论文PNN网络结构
文章目录一、导包二、数据处理三、搭建模型3.1 输入层3.2 Embedding层3.3 EmbeddingInput3.4 Produce层3.5 MLP层3.6 PNN模型四、运转模型4.1 读取数据4.2 使用具名数据为特征做标记4.3 编译模型4.4 训练模型4.5 绘制网络结构下图为PNN的模型结构图,首先将Sparse特征进行Embedding嵌入,然后将其流入Product,分别进行捕捉线性关系lz和特征交叉lp,然后拼接,流到MLP全连接层,最终输出CTR概率值。一、导包import原创 2021-11-20 15:44:46 · 1337 阅读 · 1 评论 -
【推荐系统】TensorFlow复现论文NeuralCF网络结构
文章目录一、导包二、读取数据三、特征编码处理四、使用具名元组为特征进行处理五、构建模型5.1 输入层5.2 Embedding层5.3 GML5.4 MLP5.5 输出层5.6 构建模型六、运转模型下图为NeutralCF的模型结构图,总共两个分支,第一个分支为GML,第二个为MLP,GML通路将两个特征的Embedding向量进行内积操作,MLP将两个特征的Embedding的向量进行拼接,然后使用多层感知机进行传播,然后将两个通路输出的向量进行拼接,导入全连接层(输出层),输出Score。一、导包原创 2021-11-19 10:27:51 · 1260 阅读 · 0 评论 -
【推荐系统论文精读系列】(八)--Deep Crossing:Web-Scale Modeling without Manually Crafted Combinatorial Features
文章目录Deep Crossing:Web-Scale Modeling without Manually Crafted Combinatorial Features一、摘要二、介绍三、相关工作四、搜索广告五、特征表示5.1 独立特征5.2 组合特征六、模型架构6.1 Embedding层6.2 Stacking层6.3 Residual层6.4 Score层ReferencesDeep Crossing:Web-Scale Modeling without Manually Crafted Combi原创 2021-11-18 20:54:30 · 877 阅读 · 0 评论 -
【推荐系统】TensorFlow复现论文DeepCrossing特征交叉网络结构
文章目录一、导包二、读取数据三、获取分类特征和数值特征四、数据处理五、使用具名元组为特征做标记六、构建模型6.1 构建输入层6.2 将类别特征进行embedding6.3 将所有的sparse特征embedding进行拼接6.4 构建残差块6.5 构建输出层6.6 构建模型七、训练模型7.1 构建模型7.2 编译模型7.3 准备输入数据7.4 模型训练一、导包from collections import namedtuple # 使用具名元组import tensorflow as tffrom原创 2021-11-18 14:46:50 · 653 阅读 · 1 评论 -
【推荐系统论文精读系列】(七)--AutoRec Autoencoders Meet Collaborative Filtering
文章目录AutoRec: Autoencoders Meet Collaborative Filtering一、摘要二、介绍三、AUTOREC模型四、实验评估ReferencesAutoRec: Autoencoders Meet Collaborative Filtering一、摘要本文提出了AutoRec,一个用于协同过滤的新型自动编码器框架。根据经验,AutoRec对于模型的影响和训练效率已经超过了现在基于协同过滤技术的大多数先进模型。二、介绍协同过滤(CF)模型的目的是利用用户对物品的偏好原创 2021-11-16 19:35:06 · 1122 阅读 · 0 评论 -
【推荐系统】TensorFlow手动实现AutoRec基于协同过滤
文章目录一、导包二、加载数据三、构建模型四、训练数据五、预测结果一、导包import pathlibimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as snsimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport numpy as np二、加载数据# 100个用户,原创 2021-11-16 18:44:29 · 1181 阅读 · 0 评论 -
【推荐系统论文精读系列】(六)--Field-aware Factorization Machines for CTR Prediction
文章目录Field-aware Factorization Machines for CTR Prediction一、摘要二、介绍三、POLY2 和 FM四、FFM4.1 解决优化问题4.2 并行化内存系统五、实验5.1 训练设置5.2 参数的影响5.3 提前停止训练5.4 并行加速REFERENCESField-aware Factorization Machines for CTR Prediction一、摘要点击率预测发挥了很大的作用在计算广告领域。针对这个任务,POLY2和FMs被广泛的应用。原创 2021-11-16 12:38:35 · 876 阅读 · 2 评论 -
【推荐系统】POLY2、FM、FFM模型的进化之路
文章目录POLY2模型FM模型FFM模型POLY2模型逻辑回归模型是CTR预测领域较为广泛使用的模型,原因有模型具备可解释性,良好的数学解释性,可以实现并行化提高效率,但是它有个缺点就是不能够捕捉数据的非线性关系,如果非要这样,一般情况下需要人工进行特征交叉,但是这样的成本较大,而且需要有经验的算法专家才能够交叉出好的特征,所以如果可以使用算法进行交叉,那么整个系统的工作效率将大大提高。所以,这时产生了POLY2模型进行特征的 “暴力” 组合,它的原理很简单,就是将任意两个特征两两交叉,这将会新产生原创 2021-11-15 22:11:57 · 673 阅读 · 0 评论 -
【推荐系统】传统推荐模型的特点总结
模型名称基本原理特点局限性公式协同过滤根据用户的行为历史生成用户-物品共现矩阵,利用用户相似性和物品相似性进行推荐原理简单、直接,应用广泛泛化能力差,处理稀疏矩阵的能力差,推荐结果的头部效应较明显sim(i,j)=∑p∈P(Rip−RP‾)(Rjp−RP‾)∑p∈P(Rip−RP‾)2∑p∈P(Rjp−RP‾)2sim(i,j)=\frac{\sum_{p\in P}(R_{ip}-\overline{R_{P}})(R_{jp}-\overline{R_{P}})}{\s...原创 2021-11-15 11:49:25 · 475 阅读 · 0 评论 -
【推荐系统】推荐系统中分解共现矩阵的优点与局限性
由于使用协同过滤,单纯考虑user或item之间的正反馈交互以及相似度量,这不能很好的利用全局信息,如果两个用户没有相同的历史行为,或者两个物品没有相同的用户购买,那么对于这两个物品或者用户来说,它们之间的相似度为0,这就会导致使用协同过滤不具备泛化利用全局信息的能力。而隐向量的生成过程其实是对共享矩阵进行全局拟合的过程,因此隐向量其实是利用全局信息生成的。矩阵分解的优点:泛化能力强:在一定程度上解决了矩阵稀疏的问题空间复杂度低:使用协同过滤进行推荐,需要维护用户和物品的相似度矩阵,而使用隐向量只原创 2021-11-14 20:53:16 · 915 阅读 · 0 评论 -
【推荐系统】推荐场景为什么不可以使用SVD分解共现矩阵
在推荐领域,我们为了捕捉更多隐含特征,需要对用户-物品共现矩阵进行分解,对矩阵分解的方法主要有三种:特征值分解(Eigen Decomposition)奇异值分解(Singular Value Decomposion)梯度下降(Gradient Descent)如果使用特征值分解,前提要求是待分解矩阵为方阵,在真实情况中显然是不适用的。对于奇异值分解,存在共现矩阵M(m,n),我们可以将其分解成:M=UΣVTM=U\Sigma V^TM=UΣVT其中 UUU 是(m,m)的正交矩阵,V原创 2021-11-14 20:30:48 · 301 阅读 · 0 评论 -
【机器学习】GBM和随机森林都是基于树的算法,它们有什么区别?
如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~GBM和随机森林都是基于树的算法,它们有什么区别?RF采用bagging技术做出预测;GBM采用boosting技术做出预测bagging技术,数据集采用bootstrap随机采样的方法被划分为n个样本,对多棵树的结果进行加权或者取平均;boosting在第一轮预测之后,增加分类出错的样本权重,减小错误率高的基学习器(树)的权重,持续进行,一直到达停止标准。RF采用减小方差提高模型精度,生成树之间没有相关性;GBM原创 2021-11-14 18:47:08 · 916 阅读 · 0 评论 -
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
文章目录Neural Collaborative Filtering一、摘要二、介绍三、准备知识3.1 从隐式数据中进行学习3.2 矩阵分解四、神经协同过滤4.1 总体框架4.1.1 学习NCF4.2 广义矩阵分解(GMF)4.3 多层感知机(MLP)4.4 GMF与MLP的融合4.4.1 预训练REFERENCESNeural Collaborative Filtering一、摘要近年来,深度神经网络在语音识别、计算机视觉和自然语言处理方面取得了巨大的成功。然而,深度神经网络在推荐系统上的探索相对较原创 2021-11-14 18:14:29 · 1527 阅读 · 0 评论 -
【推荐系统】Facebook经典模型GBDT+LR代码实践
如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~文章目录一、导库二、处理数据三、构建LR模型四、构建GBDT模型五、构建GBDT+LR融合模型六、评估结果2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善推荐系统各个知识体系的文章,帮助大家更高效学习。在CRT预估中,工业界一般是会采用逻辑回归进行处理,对用户特征画像进行建模,然后计算点击概率,评估用户是否会有点击的行为。但是逻辑回归这个算法天生就会有个缺陷,它不能够区分非线性的数据,.原创 2021-11-13 14:10:21 · 928 阅读 · 0 评论 -
【推荐系统论文精读系列】(四)--Practical Lessons from Predicting Clicks on Ads at Facebook
文章目录Practical Lessons from Predicting Clicks on Ads at Facebook一、摘要二、简介三、实验设置3.1 评估指标四、预测模型结构4.1 决策树特征变换4.2 数据新鲜度4.3 在线线性分类器五、在线数据连接器六、包含内存和延迟6.1 提升树的数目6.2 增加特征的重要性6.3 历史特征七、处理海量数据7.1 Uniform subsampling7.2 Negative down sampling八、总结Practical Lessons from原创 2021-11-13 10:41:42 · 1033 阅读 · 1 评论 -
【推荐系统】GBDT为什么可以进行特征选择
如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~文章目录2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善推荐系统各个知识体系的文章,帮助大家更高效学习。在CRT预估中,工业界一般是会采用逻辑回归进行处理,对用户特征画像进行建模,然后计算点击概率,评估用户是否会有点击的行为。但是逻辑回归这个算法天生就会有个缺陷,它不能够区分非线性的数据,原因是逻辑回归是在普通的线性回归的基础之上添加了Sigmoid函数,处理的只能是线性数据,那么我们.原创 2021-11-11 22:18:37 · 1376 阅读 · 1 评论 -
【推荐系统】TensorFlow实现FM特征分解机
如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~文章目录导库FM特征组合层定义FM模型读取数据划分数据集构建模型训练模型2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善推荐系统各个知识体系的文章,帮助大家更高效学习。导库from tensorflow.keras import *from tensorflow.keras.layers import *from tensorflow.keras.models import *f.原创 2021-11-11 17:25:53 · 804 阅读 · 0 评论 -
【推荐系统】利用FM模型进行分类回归任务
如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~文章目录一、FM回归任务1. 导库2. 加载数据3. 获取数据4. 定义编码器5. 构建模型6. 衡量误差二、FM分类任务1. 导库2. 构造数据3. 划分数据集4. 定义编码器5. 构建模型6. 衡量误差2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善推荐系统各个知识体系的文章,帮助大家更高效学习。一、FM回归任务1. 导库import numpy as npfrom sklea.原创 2021-11-10 22:28:22 · 762 阅读 · 0 评论