NFM模型

最新推荐文章于 2023-09-07 22:51:23 发布
最新推荐文章于 2023-09-07 22:51:23 发布
阅读量1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hanxingjinyu/article/details/115180322
版权

含义

NFM模型是将FM与DNN进行融合，通过引入特征交叉池化层将FM与DNN进行衔接，这样就组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力。
在上一节DEEPFM中，我们已经知道，FM只能将两个特征进行重组，而不能将高阶特征进行重组，并且FM是线性组合，将DNN引入，可以提升FM进行特征交互能力和学习非线性表达的能力。
NFM公式
在这里插入图片描述
与FM公式相比，红色部分被一个表达能力更强的函数替代，特征之间的交互不局限于两个特征，也不局限与线性组合了。
NFM在fm得到二阶的交叉特征之后，加入了一个网络，将二阶特征再进行合并，进而就可以提取高阶交叉特征，因此增强了FM的表达能力。
NFM得隐藏层是全连接层，预测层
在这里插入图片描述
池化层：
常见的池化层
它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。
池化的作用：
池化操作后的结果相比其输入缩小了。池化层的引入是仿照人的视觉系统对视觉输入对象进行降维和抽象。在卷积神经网络过去的工作中，研究者普遍认为池化层有如下三个功效：

1.特征不变性：池化操作是模型更加关注是否存在某些特征而不是特征具体的位置。其中不变形性包括，平移不变性、旋转不变性和尺度不变性。
平移不变性是指输出结果对输入对小量平移基本保持不变，例如，输入为(1, 5, 3), 最大池化将会取5，如果将输入右移一位得到(0, 1, 5)，输出的结果仍将为5。对伸缩的不变形，如果原先的神经元在最大池化操作后输出5，那么经过伸缩（尺度变换）后，最大池化操作在该神经元上很大概率的输出仍是5.
2.特征降维（下采样）：池化相当于在空间范围内做了维度约减，从而使模型可以抽取更加广范围的特征。同时减小了下一层的输入大小，进而减少计算量和参数个数。
3.在一定程度上防止过拟合，更方便优化。
4.实现非线性（类似relu）。
5.扩大感受野。

思考题
NFM中的特征交叉与FM中的特征交叉有何异同，分别从原理和代码实现上进行对比分析
1、FM模型只将特征组合为双特征，也就是说不能学习更高阶的特征组合，但是NFM加入了DNN，因此就能学习2阶以上的特征。
2、FM的特征组合，是线性的，就是组合特征之间，是线性组合。而NFM使用一个函数取代了原来的线性部分，因此特征之间不局限于线性组合了。

问题
如何确定输入应该进入linear input还是dnn input？？这种分割是按照什么标准的？？还是完全人为判断？？？

Hanxingjinyu
关注
NFM(Neural Factorization Machines)：模型原理及pytorch代码实现
zhao254014的博客
09-14 2394
NFM的核心创新点是Bi-Interaction池化部分来代替其他模型使用的拼接。
《推荐系统》-NFM模型
m0_37748303的博客
10-22 379
1、引言 在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。因此 FM和深度网络DNN的结合也就成为了CTR预估问题中主流的方法。有关FM和DNN的结合有两种主流的方法，并行结构和串行结构。两种结构的理解以及实现如下表所示： 图1、两种结构的理解 今天介绍的NFM模型(Neural Factor
AFM
zhangbaoanhadoop的博客
08-22 325
# !/usr/bin/env python # coding=utf-8 """ TensorFlow Implementation of <<Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks>> with the...
NFM模型理论与实践
Tak-Wah Blog
04-21 3129
今天介绍一下NFM模型算法，NFM模型是FM模型的神经网络化尝试：即将FM的二阶交叉项做为Deep模型的输入，以此加强模型的表达能力。 经典的FM模型的数学表达式如公式（1）所示： （公式 1） 在数学形式上，NFM模型的主要思路是用一个表达能力更强的函数替代原FM中二阶隐向量内积部分。NFM的表达式如公式（2）所示： （公式 2） NFM模型的深度网络部分结构图如图（1）所示。 ...
推荐系统遇上深度学习(七)--NFM模型理论和实践
简书博客搬家测试账号
08-13 476
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...
NFM
Miraitowa的博客
03-24 1021
简介 NFM全称为：Neural Factorization Machines for Sparse Predictive Analytics 论文地址为：https://arxiv.org/pdf/1708.05027.pdf 特点及简介 （1）是第一个在神经网络模型中引入双向交互池化操作的，并且由此提出了一种新的神经网络方法。 （2）本方法加深神经网络框架下的FM使之能够面对高阶和非线性特征。 （3）该方法能够在稀疏数据集上使用神经网络进行预测，并且效果较好。 该模型是通过新的将FM融入到DNN的方法，
推荐系统学习笔记之NFM模型
clshishuaige的博客
03-24 962
目录模型简介模型结构与分析Input层Embedding层B-Interaction 层隐藏层（Hidden Layers）预测层（Prediction Score）模型搭建及训练数据集代码训练结果总结 模型简介 NFM(Neural Factorization Machines)是2017年由新加坡国立大学的何向南教授等人在SIGIR会议上提出的一个模型，是传统FM模型的改良，目的是为了解决FM模型因只能交叉到二阶，且是线性模型从而在真实生活场景中复杂且具有规律的数据上表现不佳的问题。 模型结构与分析 模
深度推荐模型之NFM模型
qq_36559719的博客
03-25 826
NFM 背景 今天学习深度推荐模型中的NFM(Neural Factorization Machines)模型，该模型是由2017年在SIGIR会议上提出的。CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，所以通过Deep Network来建模更高阶的特征之间的关系，提出了一种将FM融合进DNN的策略，通过引进了一个特征交叉池化层的结构，使得FM与DNN进行了完美
2021-03-4:task04_NFM模型
DDxuexi的博客
03-24 192
由于之前没有看过NFM,这里先把.md文件进行了阅读、理解并将其复制到了笔记里，然后就是整体的tf的实现及结果的展示 WideNDeep、DeepFm、NFM代码演示中的区别 线性部分 一阶线性部分相同 DeepFm多了个二阶特征交叉,内积得到了一个数 nfm元素积操作,得到的是向量,在进行两两Embedding元素积之后，对交叉特征向量取和， 得到该层的输出向量， 很显然， 输出是一个 ???? 维的向量。 deep部分 widendeep在演示的代码中是对数值型特征和类别型特征都进行了deep
推荐系统与深度学习（六）——NFM模型原理​
数据森麟
08-26 441
公众号后台回复“图书“，了解更多号主新书内容作者：livan来源：数据python与算法NFM原理介绍FM模式的提出主要是为了解决特征关系的充分应用和稀疏的问题，但是FM模型不能完整的表...
（读论文）推荐系统之ctr预估-NFM模型解析
weixin_30463341的博客
07-30 153
本系列的第六篇，一起读论文~ 本人才疏学浅，不足之处欢迎大家指出和交流。 今天要分享的是另一个Deep模型NFM(串行结构)。NFM也是用FM+DNN来对问题建模的，相比于之前提到的Wide&Deep(Google)、DeepFM(华为+哈工大)、PNN(上交)和之后会分享的的DCN(Google)、DIN(阿里)等，NFM有什么优点呢，下面就走进模型我们一起来看看吧。 原文：N...
推荐系统深度学习篇-NFM 模型介绍(1)
来自Daisy和她的单程车票
11-19 2299
一、NFM 模型介绍 NFM是2017年由新加披国立大学提出的一种模型，其主要优化点在于提出了Bi-Interaction，Bi-Interaction考虑到了二阶特征组合，减轻了后面MLP部分学习特征信息的压力 论文地址：https://arxiv.org/pdf/1708.05027.pdf 其结构如下 BI-Interaction的结构为 该式可化简为 详细推导过程如下 编程简单记忆方式： 和的平方-平方的和 需要注意的是： 1.该图显示的是在Bi-Interaction后由三层MLP构成，但
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
最新发布
qq_44665283的博客
09-07 719
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
推荐系统FM系列文章（三）-- NFM模型
hionechance的blog
12-19 732
0. 写在前面 继上次介绍了DeepFM模型后，本文我们介绍将FM模型思想结合神经网络的又一工作 – NFM（Neural Factorization Machine），一起来看看NFM相比于FM模型及DeepFM模型有哪些不同之处以及优化点。 个人心得： bi-interaction pooling layer，一种element-wise product的特征交叉层 论文地址： https://arxiv.org/pdf/1708.05027.pdf 1. 背景 DeepFM将神经网络成功引入了FM
深度推荐模型 -NFM
Joye_BNU的博客
03-22 1049
NFM 文章目录NFM提出背景 & 与其他模型的关系FM回顾NFM公式NFM网络总体结构网络各层的详细解释Input层和Embedding层Bi-Interaction Pooling layer隐藏层预测层小结 参考推荐系统遇上深度学习(七)–NFM模型理论和实践 提出背景 & 与其他模型的关系 NFM这个模型是在FM的基础上提出的，是为了改进FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，同时为了建模更高阶的特征而提出的。NFM是
《Neural Factorization Machines for Sparse Predictive Analytics》NFM模型及python代码
十三
04-10 1135
1 原文 点击【原文】即可进行下载 2 NFM模型 在当今互联网工业界中，有许多预测任务需要用到大量的类别特征。要想将这些类别特征送入到模型中，就必须得将其onehot。但这样一来，就会产生大量的稀疏特征，要想从这些稀疏特征中充分学习到有用的信息，必须要考虑特征之间的相互作用。 FM算法是一种常用的解决方案，因为它充分考虑了二阶特征之间的相互作用。然而FM有一个缺点，就是它仅仅以线性的方式组合了特...
利用pytorch实现 NFM 算法 并且使用auc进行评估
05-16
好的，下面是基于 PyTorch 实现 NFM 算法的代码，同时使用 AUC 进行评估： 首先，我们需要导入必要的库： ```python import torch import torch.nn as nn import torch.optim as optim from sklearn.metrics import roc_auc_score ``` 接着，我们定义 NFM 模型的代码如下： ```python class NFM(nn.Module): def __init__(self, num_feats, embed_dim, hidden_dim): super(NFM, self).__init__() self.embedding_layer = nn.Embedding(num_feats, embed_dim) self.linear_layer = nn.Linear(embed_dim, hidden_dim) self.interaction_layer = nn.Sequential( nn.Linear(embed_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1), nn.Sigmoid() ) def forward(self, x): embeddings = self.embedding_layer(x) square_sum = torch.sum(embeddings, dim=1) ** 2 sum_square = torch.sum(embeddings ** 2, dim=1) linear = self.linear_layer(torch.mean(embeddings, dim=1)) interaction = torch.sum(self.interaction_layer(embeddings), dim=1) output = linear + interaction - square_sum + sum_square return output ``` 在这里，我们将 NFM 模型分为三个部分： 1. `embedding_layer`：嵌入层，将输入的特征进行嵌入，得到每个特征的向量表示。 2. `linear_layer`：线性层，对特征嵌入后得到的向量进行平均，得到一个一维向量，并通过一个全连接层进行线性变换。 3. `interaction_layer`：交互层，对每个特征嵌入后得到的向量进行交互计算，并通过一系列层进行非线性变换，最后得到一个交互权重。 在 `forward` 函数中，我们首先计算了平方和以及和的平方，然后分别对线性部分和交互部分进行计算，最后将线性部分、交互部分、平方和以及和的平方相加得到最终的输出。 接下来，我们定义训练函数和测试函数： ```python def train(model, train_loader, optimizer, criterion): model.train() for batch_idx, (X, y) in enumerate(train_loader): optimizer.zero_grad() output = model(X) loss = criterion(output, y) loss.backward() optimizer.step() def test(model, test_loader): model.eval() y_true = [] y_pred = [] with torch.no_grad(): for batch_idx, (X, y) in enumerate(test_loader): output = model(X) y_true.extend(y.tolist()) y_pred.extend(output.tolist()) auc = roc_auc_score(y_true, y_pred) print('AUC:', auc) ``` 在这里，我们定义了一个训练函数和一个测试函数。训练函数中，我们首先将模型设为训练模式，然后对于每一个 batch 进行一次前向传播、计算 loss、反向传播和更新参数的操作。测试函数中，我们将模型设为评估模式，然后对于测试集中的每一个样本进行一次前向传播，并记录真实标签和预测概率，最后计算 AUC。 最后，我们读取数据、初始化模型、定义损失函数和优化器，并开始训练和测试： ```python # 读取数据 train_data = torch.Tensor([[1, 2, 3, 0], [4, 5, 6, 1], [7, 8, 9, 0], [10, 11, 12, 1]]) test_data = torch.Tensor([[1, 2, 3, 1], [4, 5, 6, 0], [7, 8, 9, 1], [10, 11, 12, 0]]) train_loader = torch.utils.data.DataLoader(train_data, batch_size=2, shuffle=True) test_loader = torch.utils.data.DataLoader(test_data, batch_size=2, shuffle=True) # 初始化模型 model = NFM(num_feats=4, embed_dim=2, hidden_dim=4) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = optim.Adam(model.parameters(), lr=0.01) # 训练和测试 for epoch in range(10): train(model, train_loader, optimizer, criterion) test(model, test_loader) ``` 在这里，我们使用了一个简单的数据集作为示例，共有 4 个样本，每个样本都有 4 个特征，其中前三个特征是类别型特征，最后一个特征是二分类标签。在初始化模型时，我们将类别型特征嵌入到 2 维向量中，然后将线性层和交互层的隐藏维度都设置为 4。在优化器中，我们使用了 Adam 算法作为优化器，学习率为 0.01。在训练过程中，我们进行了 10 轮迭代，每轮迭代后都对模型进行一次测试，并输出 AUC。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值