NFM

最新推荐文章于 2023-05-04 00:32:01 发布
VIP文章 最新推荐文章于 2023-05-04 00:32:01 发布
阅读量213 收藏
点赞数
分类专栏： DeepRecommendationModel 文章标签： 推荐系统 神经网络 深度学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54699944/article/details/115191444
版权

NFM(Neural Factorization Machines)是2017年由新加坡国立大学的何向南教授等人在SIGIR会议上提出的一个模型，论文《Neural Factorization Machines for Sparse Predictive Analytics》。
NFM主要是面向稀疏特征的交叉问题, 将FM对二阶特征的线性交叉,与神经网络对高阶特征非线性交叉无缝的结合在了一起。

  • 提出了Bilinear Interaction(Bi-Interaction) pooling操作 (有别于传统的concatenate 或 avg pooling操作)
  • 将FM看作是神经网络的一部分

模型

公式

传统的FM模型仅局限于线性表达和二阶交互， 无法胜任生活中各种具有复杂结构和规律性的真实数据， 针对FM的这点不足， 作者提出了一种将FM融合进DNN的策略，通过引进了一个特征交叉池化层的结构，使得FM与DNN进行了完美衔接，这样就组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力，形成了深度学习时代的神经FM模型(NFM)。

跟fm的公式很相似, 对比FM， 就会发现变化的是第三项，将fm的二阶部分换成了更为复杂的形式。
在这里插入图片描述

网络结构

NFM模型的深度网络部分结构图如图所示
在这里插入图片描述

embedding层

就是一个全连接层，将输入转换到低维度的稠密的嵌入空间中进行处理。

Bi-Interaction层

Bi是Bi-linear的缩写，这一层其实是一个pooling层操作，它把很多个向量转换成一个向量，形式化如下：
在这里插入图片描述
⊙ \odot ⊙ 代表两个向量的元素积操作，即两个长度相同的向量对应维相乘得到元素积向量，示例如下： [ 1 , 2 , 3 ] ⊙ [ 2 , 3 , 4 ] = [ 1 ∗ 2 , 2 ∗ 3 , 3 ∗ 4 ] = [ 2 , 6 , 12 ] [1,2,3]\odot[2,3,4]=[1*2,2*3,3*4]=[2,6,12] [1,2,3]⊙[2,3,4]=[1∗2,2∗3,3∗

最低0.47元/天 解锁文章
m0_54699944
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
推荐系统之NFM
qq_38375203的博客
06-23 852
CTR预测任务中， 高阶特征和低阶特征的学习都非常的重要。 推荐模型我们也学习了很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 其实这些模型又存在着自己的问题，也是后面模型不断需要进行改进的原理，主要有下面几点：简单的线性模型虽然简单，同样这样是它的不足，就是限制了模型的表达能力，随着数据的大且复杂，这种模型并不能充分挖掘数据中的隐含信息，且忽略了特征间的交互，如果想交互，需要复杂的特征工程。 FM模型考虑了特征的二阶交叉，
Jamming_NFM_Produce.rar_jamming_信干比_噪声调频_噪声调频信号_干信比
07-15
根据干信比调节，生成指定带宽的调频噪声，产生噪声调频信号
NFM-3:NFM> = 3
05-13
NFM-3 NFM>=3 参考了 { Tensorflow implementation of Neural Factorization Machines as described in: Xiangnan He, Tat-Seng Chua. Neural Factorization Machines for Sparse Predictive Analytics. In Proc. of SIGIR 2017. } 的代码。将NFM 推广到自由度大于等于3的情况。 增减的模块“ utils"，见” from utils import construce_alpa“。
浪潮服务器NFM安装windowsServer完整版.docx
最新发布
06-09
HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第1页。浪潮服务器NFM安装windowsServer 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第1页。 浪潮服务器安装 windows server 2008r2 服务器装箱清单清单配置列表 服务器主机一台 NF8460M3 导轨 电源线3根 英信服务器用户手册 系统驱动程序光盘 Raid卡驱动程序光盘 浪潮驱动U盘使用说明 浪潮驱动U盘 服务手册 安全手册 快速使用指南 二．配置 RAID Raid配置与管理 服务器开机自检到浪潮logo画面后，下一步就会进入Raid卡自检过程，此时显示器上会出现Ctrl -H提示，如下图： 按下Ctrl -H组合键后，自检完成就会进入Raid卡配置界面，如下图。在这里可以看到Raid卡的型号和Firmware固件版本，点击【Start】按钮进入Raid卡主页。 Raid卡首页叫作WebBIOS，如下图。左侧是功能菜单，右侧可以看到所有物理磁盘，本例安装了4块500G硬盘，后面所有的配置都可以在这里完成！ 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第2页。Raid0配置方法 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第2页。 Raid0的配置过程与Raid1大致相同，唯一不同是在选择Raid级别这一步选择Raid0即可。 具体步骤请参考下一节 友情提示：Raid0虽然可以大幅提高读写性能，但是有数据丢失风险，请您慎重考虑！ Raid1配置方法 在WebBIOS主页点击【Configuration Wizard】，打开配置向导 选择【Add Configuration】，点击【Next】下一步 选择【Manual Configuration】，点击【Next】下一步 左侧方框内可以看到所有未使用的硬盘。因为要做Raid1，我们选择前两块，然后点击下方的【Add to Array】将其加入到右侧方框内。 点击【Accept DG】，创建磁盘组 点击【Next】下一步 点击【Add to SPAN】，将刚才创建好的磁盘组加入到右侧方框内 点击【Next】下一步 阵列参数配置：第一个参数"Raid Level"选择Raid1，其余保持默认 最后一个参数"Select Size"输入阵列容量大小，最大值可参考右侧绿字提示（其中R0代表做Raid0最大容量，R1代表做Raid1最大容量），完成后点击【Accept】 弹出的任何提示均选择【yes】 回到配置页面，点击【Next】下一步 点击【Accept】配置完成！ 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第3页。提示保存，选择【yes】 浪潮服务器NFM安装windowsServer完整版全文共4页，当前为第3页。 （依Raid卡型号不同，有些可能没有此功能，如没有请跳过此步）提示SSD缓存，选择【Cancel】 提示初始化，选择【yes】 正在初始化，能看到百分比进度条（速度较快，可能一闪而过） 初始化完成！点击【Home】返回首页 阵列配置完成！ Raid1状态显示"Optimal"表示正常，Drives显示两块硬盘绿色Online正常，如果还有其它未使用的硬盘，会在unconfigured Drives下面蓝色显示。 未使用的硬盘可以继续创建阵列，也可以配置成热备盘（方法请见章节） 最后点击【Exit】退出，然后【Ctrl-Alt-Delete】组合键重启服务器！ 打开光驱插入 windows server 2008 r2 光盘 等待光盘自动启动进入 server008安装程序，进入后选择简体中文或者英文韩文都可以；下一步选择高级设置，下一步选择，从不更新；然后会进入一个安装的目录，这时候会看不到任何硬盘，点击加载驱动，浏览，把安装盘拿出来，放入RAID驱动盘，过一会会显示驱动drive 点击加号 展开，找到你要安装的驱动 一般是 win7win8 x64的样子 因为服务器肯定装64位系统了；点击扫描驱动，会显示一串路径 ，点击下一步 过1分钟左右就会显示出硬盘了，先分好盘，一般是150G左右。 分好盘后悔多出来一个100M左右的系统盘，不要删除，删除后就起不来了。现在不能安装，下方会显示一个黄色感叹号，无法将 windows 安装到磁盘 (0)，把Raid盘拿出来，装入windows server2008 r2系统盘，点击刷新，现在就可以安装
正泰NFM1系列蜂鸣器.pdf
11-13
正泰NFM1系列蜂鸣器pdf,正泰NFM1系列蜂鸣器
NFM.rar_网络监控
09-20
简单的网络监控,至对同一个网段的TCP包
推荐系统深度学习篇-NFM 模型介绍(1)
来自Daisy和她的单程车票
11-19 2227
一、NFM 模型介绍 NFM是2017年由新加披国立大学提出的一种模型，其主要优化点在于提出了Bi-Interaction，Bi-Interaction考虑到了二阶特征组合，减轻了后面MLP部分学习特征信息的压力 论文地址：https://arxiv.org/pdf/1708.05027.pdf 其结构如下 BI-Interaction的结构为 该式可化简为 详细推导过程如下 编程简单记忆方式： 和的平方-平方的和 需要注意的是： 1.该图显示的是在Bi-Interaction后由三层MLP构成，但
推荐系统中特征交叉模型之——DeepWide/DeepFM/NFM
qq_39158406的博客
03-21 708
前言 上篇文章中我们引入了推荐系统中特征交叉的概念，以及介绍了一些常见的特征交叉方法，这篇文章我们将详细地讨论一下推荐系统中特征交叉地模型，他们的特点，以及他们为什么会这样。本文中介绍的模型有Wide & Deep，deepFM，NFM，以及AFM和相应地拓展。 Wide & Deep 首先附上Wide&deep的模型结构，看起来很简单，左边时一个线性模型，右边时一个DNN模型。该模型采用线性部分提升模型的记忆能力，同时采用DNN部分提升模型的泛化能力。 与DNN部分相比，Wide
深度学习在CTR预估中的应用
weixin_33918357的博客
10-19 197
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由鹅厂优文发表于云+社区专栏 [一、前言](javascript:;) 二、深度学习模型 [1. Factorization-machine（FM）](javascript:;) [FM = LR+ embedding](javascript:;) [2. Deep Neural Network(DNN)](javascrip...
推荐系统 之 AFM和DIN
Francis_s的博客
11-17 813
感觉已经落下好多进度了，要马上赶上来才行。后面还有好多书没有看0 0 这篇文章的两个模型都是来自于引入了attention机制而产生的，再NFM模型中，不同域的特征Embediing向量经过特征交叉池化层的交叉，将各个交叉特征向量进行了 sum_pooling 操作（这里后面会解释为嘛子叫这个），输入最后由多层神经网络组成的输出层，问题关键在于这个sum_pooling操作，相当于一视同仁地对待所有交叉特征，不考虑不同特征对结果的影响程度，事实上这样子会消解了大量有价值的...
NFM模型理论与实践
Tak-Wah Blog
04-21 2915
今天介绍一下NFM模型算法，NFM模型是FM模型的神经网络化尝试：即将FM的二阶交叉项做为Deep模型的输入，以此加强模型的表达能力。 经典的FM模型的数学表达式如公式（1）所示： （公式 1） 在数学形式上，NFM模型的主要思路是用一个表达能力更强的函数替代原FM中二阶隐向量内积部分。NFM的表达式如公式（2）所示： （公式 2） NFM模型的深度网络部分结构图如图（1）所示。 ...
推荐算法实战项目：NFM 原理以及案例实战(附完整 Python 代码)
机器学习社区
05-04 1024
本文要介绍的是由新加坡国立大学的研究人员在论文中提出的NFM模型。NFM模型全称是Neural Factorization Machines，通过名字也可以看出，这又是一个基于FM模型改进得到的网络。无论是FM模型还是其改进模型FFM，归根结底是一个二阶特征交叉的模型。受到组合爆炸问题的困扰，FM几乎不可能扩展到三阶及其以上，这就不可避免地限制了FM模型的表达能力。而深度学习网络理论上有拟合任何复杂函数的能力，因此有没有可能使用DNN的更强的表达能力来对FM模型进行扩展呢？这也正是NFM模型出现的缘由。
Neural Factorization Machines（NFM）
null的专栏
04-05 1670
相对于DeepFM和DCN对于Wide&Deep Wide部分的改进，NFM可以看作是对Deep部分的改进。NFM的全称是Neural Factorization Machines，如果我们从深度学习网络架构的角度看待FM，FM也可以看作是由单层LR与二阶特征交叉组成的Wide&Deep的架构，与经典W&D的不同之处仅在于Deep部分变成了二阶隐向量相乘的形式。再进一步，NFM从修改FM二阶部分的角度出发，用一个带Bi-interaction Pooling层的DNN替换了FM的特征
推荐系统FM系列文章（三）-- NFM模型
hionechance的blog
12-19 707
0. 写在前面 继上次介绍了DeepFM模型后，本文我们介绍将FM模型思想结合神经网络的又一工作 – NFM（Neural Factorization Machine），一起来看看NFM相比于FM模型及DeepFM模型有哪些不同之处以及优化点。 个人心得： bi-interaction pooling layer，一种element-wise product的特征交叉层 论文地址： https://arxiv.org/pdf/1708.05027.pdf 1. 背景 DeepFM将神经网络成功引入了FM
论文浅尝 | KGAT: 用于推荐的知识图注意力网络
开放知识图谱
03-14 2887
笔记整理 | 李爽，天津大学链接：https://arxiv.org/pdf/1905.07854v1.pdf动机为了提供更准确、多样化和可解释的推荐，必须超越对用户-项目交互的建模，并考...
计算广告CTR预估系列(九)--NFM模型理论与实践
李宁宁
09-12 5065
计算广告CTR预估系列(九)–NFM模型理论与实践 计算广告CTR预估系列(九)–NFM模型理论与实践 一、引言 二、Model Feature Interaction 2.1 介绍 2.2 FM 2.2.1 优点 2.2.2 缺点 2.3 Deep Neural Network 2.3.1 DNN优化困难 三、Neural Factorization Machine(NFM) ...
FLEN:一种时空高效的利用特征场信息缓解梯度耦合的CTR预测模型
serenysdfg的博客
12-15 868
FLEN: Leveraging Field for Scalable CTR Prediction 美图个性化推荐排序的核心算法 提出了field-wise bi-interaction pooling技术，解决了在大规模应用特征field信息时存在的时间复杂度和空间复杂度高的困境，同时提出了一种缓解梯度耦合问题的方法，dicefactor。该模型已应用于美图的大规模推荐系统中，持续稳定地取...
CTR模型：AFM
rosefun96的博客
09-08 8816
1. 简介 FM模型将所有二阶交叉特征都认为同等重要， 一些二阶交叉特征是没有价值的，可能会引入噪声并且降低模型性能。 AFM（Attentional FM）在2017年被提出，通过Attention机制来自动学习每个二阶交叉特征的重要性。 和Wide&Deep， DeepCross等模型相比，AFM结构简单，参数更少，效果更好，AFM有更好的解释性，通过注意力权重知道哪些交叉特征对于预测贡献大。 2. AFM 模型 （1）Embedding层 将每个特征映射到dense向量表示， 映射到向量 v
NFM推荐算法pytorch实现
05-15
以下是基于PyTorch实现的NFM推荐算法代码，供参考： ``` import torch import torch.nn as nn import torch.nn.functional as F class NFM(nn.Module): def __init__(self, feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob): super().__init__() self.feature_dim = feature_dim self.embedding_dim = embedding_dim self.hidden_dim = hidden_dim self.output_dim = output_dim self.dropout_prob = dropout_prob self.embedding = nn.Embedding(feature_dim, embedding_dim) self.linear1 = nn.Linear(embedding_dim, hidden_dim) self.linear2 = nn.Linear(hidden_dim, output_dim) self.linear3 = nn.Linear(embedding_dim, output_dim) self.dropout = nn.Dropout(dropout_prob) def forward(self, x): # Embedding layer x_emb = self.embedding(x) # Bi-Interaction layer sum_square = torch.sum(x_emb, dim=1) ** 2 square_sum = torch.sum(x_emb ** 2, dim=1) bi_interaction = 0.5 * (sum_square - square_sum) # MLP layer mlp_output = F.relu(self.linear1(self.dropout(bi_interaction))) mlp_output = self.linear2(self.dropout(mlp_output)) # Output layer output = self.linear3(x_emb.mean(dim=1)) + mlp_output return output ``` 其中，`feature_dim`为特征维度，`embedding_dim`为嵌入维度，`hidden_dim`为隐层维度，`output_dim`为输出维度，`dropout_prob`为dropout概率。 在模型的前向传播过程中，首先通过`nn.Embedding`层将输入的离散特征转化为嵌入向量，然后通过Bi-Interaction Layer计算二阶交叉特征，再通过MLP Layer进行非线性变换，最后将MLP输出和原始嵌入向量的平均值相加得到最终输出。 使用时，可以像以下代码一样初始化并训练模型： ``` # 初始化模型 model = NFM(feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 for epoch in range(num_epochs): for inputs, targets in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() ``` 其中，`feature_dim`、`embedding_dim`、`hidden_dim`、`output_dim`、`dropout_prob`、`learning_rate`、`num_epochs`等参数需要根据具体情况进行设置，`dataloader`是一个PyTorch的`DataLoader`对象，用于加载训练数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值