手搭深度推荐模型(四) NFM

最新推荐文章于 2023-09-07 22:51:23 发布
最新推荐文章于 2023-09-07 22:51:23 发布
阅读量454 收藏 4
点赞数 4
分类专栏： 推荐系统 datawhale 文章标签： 机器学习 深度学习 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32844743/article/details/115145106
版权
本文介绍了NFM（Neural Factorization Machines）模型，它结合了FM和MLP的优点，用于增强推荐系统的表达能力。NFM通过Bi-Interaction Pooling层将FM的二阶特征交叉与MLP结合，改善了传统FM的局限性。文章讨论了NFM相对于FM、Wide&Deep模型的改进，并提供了代码复现和实验结果。
摘要由CSDN通过智能技术生成

本文是笔者参与datawhale组织的深度推荐模型组队学习的分享，学习内容见本链接 ，本文中所指的教程即该链接中的相应文件。

一、概念

为了在稀疏条件下有更好的预测性能，2017年何向南教授等人在SIGIR会议上提出了NFM(Neural Factorization Machines)模型。传统的FM及其改进的FFM本质是一个二阶特征交叉模型，尽管其处理稀疏向量的能力很好，但是由于FM的特征交叉是一种暴力组合，无法扩展到更高阶，因此限制了FM的表达能力。因此作者尝试使用非线性表达能力强的MLP部分代替了原FM中的二阶隐向量内积的部分，使其有更强的表达能力。
FM表达式
y ^ F M ( x ) = w 0 + ∑ i = 1 N w i x i + ∑ i = 1 N ∑ j = i + 1 N v i T v j x i x j \hat{y}_{FM}(x) = w_0+\sum_{i=1}^N w_ix_i + \sum_{i=1}^N \sum_{j=i+1}^N v_i^T v_j x_ix_j y^​FM​(x)=w0​+i=1∑N​wi​xi​+i=1∑N​j=i+1∑N​viT​vj​xi​xj​
NFM表达式
y ^ N F M ( x ) = w 0 +

最低0.47元/天 解锁文章
嫌疑人Y的执事
关注
专栏目录
深度学习推荐模型-NFM
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-25 660
深度学习推荐模型-NFM 本文参考链接，仅供个人学习： https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel 相关学习书籍推荐：《深度学习推荐系统》王喆
深度推荐模型-NFM
Etc_in_the_great的博客
03-24 299
一、动机 传统的FM模型仅局限于线性表达和二阶交互，无法胜任生活中各种具有复杂结构和规律性的真实数据，针对这点不足，作者提出了一种将FM融合进DNN的策略，通过引进一个特征交叉池化层的结构，使得FM与DNN完美衔接，这样组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力，形成了NFM模型。 作者在这里的改进思路是用一个表达能力更强的函数来替代原FM中二阶隐向量内积的部分，表达能力更强的函数，使用神经网络来充当，是一个考虑了交叉，高层使用的DNN网络，最终形成NFM网络。 二、模型结构
推荐系统之NFM
qq_38375203的博客
06-23 921
CTR预测任务中， 高阶特征和低阶特征的学习都非常的重要。 推荐模型我们也学习了很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 其实这些模型又存在着自己的问题，也是后面模型不断需要进行改进的原理，主要有下面几点：简单的线性模型虽然简单，同样这样是它的不足，就是限制了模型的表达能力，随着数据的大且复杂，这种模型并不能充分挖掘数据中的隐含信息，且忽略了特征间的交互，如果想交互，需要复杂的特征工程。 FM模型考虑了特征的二阶交叉，
推荐系统遇上深度学习(七)--NFM模型理论和实践
简书博客搬家测试账号
08-13 485
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...
NFM模型
Hanxingjinyu的博客
03-24 1029
含义 NFM模型是将FM与DNN进行融合，通过引入特征交叉池化层将FM与DNN进行衔接，这样就组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力。 在上一节DEEPFM中，我们已经知道，FM只能将两个特征进行重组，而不能将高阶特征进行重组，并且FM是线性组合，将DNN引入，可以提升FM进行特征交互能力和学习非线性表达的能力。 NFM公式 与FM公式相比，红色部分被一个表达能力更强的函数替代，特征之间的交互不局限于两个特征，也不局限与线性组合了。 NFM在fm得到二阶的交叉特征之后，加入
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
最新发布
qq_44665283的博客
09-07 743
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
（读论文）推荐系统之ctr预估-NFM模型解析
weixin_30463341的博客
07-30 160
本系列的第六篇，一起读论文~ 本人才疏学浅，不足之处欢迎大家指出和交流。 今天要分享的是另一个Deep模型NFM(串行结构)。NFM也是用FM+DNN来对问题建模的，相比于之前提到的Wide&Deep(Google)、DeepFM(华为+哈工大)、PNN(上交)和之后会分享的的DCN(Google)、DIN(阿里)等，NFM有什么优点呢，下面就走进模型我们一起来看看吧。 原文：N...
深度推荐模型 -NFM
Joye_BNU的博客
03-22 1065
NFM 文章目录NFM提出背景 & 与其他模型的关系FM回顾NFM公式NFM网络总体结构网络各层的详细解释Input层和Embedding层Bi-Interaction Pooling layer隐藏层预测层小结 参考推荐系统遇上深度学习(七)–NFM模型理论和实践 提出背景 & 与其他模型的关系 NFM这个模型是在FM的基础上提出的，是为了改进FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，同时为了建模更高阶的特征而提出的。NFM是
深度推荐模型之NFM模型
qq_36559719的博客
03-25 837
NFM 背景 今天学习深度推荐模型中的NFM(Neural Factorization Machines)模型，该模型是由2017年在SIGIR会议上提出的。CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，所以通过Deep Network来建模更高阶的特征之间的关系，提出了一种将FM融合进DNN的策略，通过引进了一个特征交叉池化层的结构，使得FM与DNN进行了完美
推荐系统 -- NFM
m0_38024592的博客
03-25 307
文章目录AbstractIntroductionArchitectureExperiment思考题Reference Abstract 概括如下： 在很多预测任务中要对特征进行one-hot编码，使得最终的特征向量高度稀疏，因此需要进行特征交互。 FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系。 因此可以通过Deep Network来建模更高阶的特征之间的关系。 然而Wide&deep和deepcross因为其深度结构而难以训练。 故 FM
推荐系统学习笔记之NFM模型
clshishuaige的博客
03-24 975
目录模型简介模型结构与分析Input层Embedding层B-Interaction 层隐藏层（Hidden Layers）预测层（Prediction Score）模型搭建及训练数据集代码训练结果总结 模型简介 NFM(Neural Factorization Machines)是2017年由新加坡国立大学的何向南教授等人在SIGIR会议上提出的一个模型，是传统FM模型的改良，目的是为了解决FM模型因只能交叉到二阶，且是线性模型从而在真实生活场景中复杂且具有规律的数据上表现不佳的问题。 模型结构与分析 模
推荐系统深度学习篇-NFM 模型介绍(1)
来自Daisy和她的单程车票
11-19 2323
一、NFM 模型介绍 NFM是2017年由新加披国立大学提出的一种模型，其主要优化点在于提出了Bi-Interaction，Bi-Interaction考虑到了二阶特征组合，减轻了后面MLP部分学习特征信息的压力 论文地址：https://arxiv.org/pdf/1708.05027.pdf 其结构如下 BI-Interaction的结构为 该式可化简为 详细推导过程如下 编程简单记忆方式： 和的平方-平方的和 需要注意的是： 1.该图显示的是在Bi-Interaction后由三层MLP构成，但
推荐系统FM系列文章（三）-- NFM模型
hionechance的blog
12-19 739
0. 写在前面 继上次介绍了DeepFM模型后，本文我们介绍将FM模型思想结合神经网络的又一工作 – NFM（Neural Factorization Machine），一起来看看NFM相比于FM模型及DeepFM模型有哪些不同之处以及优化点。 个人心得： bi-interaction pooling layer，一种element-wise product的特征交叉层 论文地址： https://arxiv.org/pdf/1708.05027.pdf 1. 背景 DeepFM将神经网络成功引入了FM
NFM(Neural Factorization Machines)：模型原理及pytorch代码实现
zhao254014的博客
09-14 2454
NFM的核心创新点是Bi-Interaction池化部分来代替其他模型使用的拼接。
《Neural Factorization Machines for Sparse Predictive Analytics》NFM模型及python代码
十三
04-10 1146
1 原文 点击【原文】即可进行下载 2 NFM模型 在当今互联网工业界中，有许多预测任务需要用到大量的类别特征。要想将这些类别特征送入到模型中，就必须得将其onehot。但这样一来，就会产生大量的稀疏特征，要想从这些稀疏特征中充分学习到有用的信息，必须要考虑特征之间的相互作用。 FM算法是一种常用的解决方案，因为它充分考虑了二阶特征之间的相互作用。然而FM有一个缺点，就是它仅仅以线性的方式组合了特...
AFM
zhangbaoanhadoop的博客
08-22 328
# !/usr/bin/env python # coding=utf-8 """ TensorFlow Implementation of <<Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks>> with the...
NFM
Miraitowa的博客
03-24 1032
简介 NFM全称为：Neural Factorization Machines for Sparse Predictive Analytics 论文地址为：https://arxiv.org/pdf/1708.05027.pdf 特点及简介 （1）是第一个在神经网络模型中引入双向交互池化操作的，并且由此提出了一种新的神经网络方法。 （2）本方法加深神经网络框架下的FM使之能够面对高阶和非线性特征。 （3）该方法能够在稀疏数据集上使用神经网络进行预测，并且效果较好。 该模型是通过新的将FM融入到DNN的方法，
2021-03-4:task04_NFM模型
DDxuexi的博客
03-24 200
由于之前没有看过NFM,这里先把.md文件进行了阅读、理解并将其复制到了笔记里，然后就是整体的tf的实现及结果的展示 WideNDeep、DeepFm、NFM代码演示中的区别 线性部分 一阶线性部分相同 DeepFm多了个二阶特征交叉,内积得到了一个数 nfm元素积操作,得到的是向量,在进行两两Embedding元素积之后，对交叉特征向量取和， 得到该层的输出向量， 很显然， 输出是一个 ???? 维的向量。 deep部分 widendeep在演示的代码中是对数值型特征和类别型特征都进行了deep
CTR模型：NFM
rosefun96的博客
09-08 9044
1. 简介 FM模型可以捕捉二阶特征，但只能线性组合，无法学习非线性关系。 DNN虽然可以学习非线性特征交互，但深度网络难于训练。 NFM（Neural Factorization Machines for Sparse Predictive Analytics∗）模型在2017年被提出。 该模型结果FM二阶特征交互的线性，以及DNN高阶特征交互的非线性。 FM 是NFM的特例，和Wide & Deep， Deep Crossing相比， NFM网络结构更浅，预测能力更强。 NFM模型引入了二阶交叉
NFM推荐算法pytorch实现
05-15
以下是基于PyTorch实现的NFM推荐算法代码，供参考： ``` import torch import torch.nn as nn import torch.nn.functional as F class NFM(nn.Module): def __init__(self, feature_dim, embedding_dim, hidden_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值