Task4 NFM

最新推荐文章于 2023-09-07 22:51:23 发布
最新推荐文章于 2023-09-07 22:51:23 发布
阅读量106 收藏
点赞数
分类专栏： 推荐 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Riccca/article/details/115192092
版权

NFM
模型局限
传统的FM模型仅局限于线性表达和二阶交互，作者提出一种将FM融合进DNN的策略，组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力，形成了深度学习时代的神经FM模型(NFM)

y ^ N F M ( x ) = w 0 + ∑ i = 1 n w i x i + f ( x ) \hat{y}{N F M}(\mathbf{x})=w{0}+\sum_{i=1}^{n} w_{i} x_{i}+f(\mathbf{x}) y^​NFM(x)=w0+i=1∑n​wi​xi​+f(x)
改进的思路就是用一个表达能力更强的函数来替代原FM中二阶隐向量内积的部分。神经网络可以充当。
在这里插入图片描述

  • 1 input和embedding层

把稀疏离散特征处理成稠密低维的，先one-hot,再通过embedding

  • 2 Bi-Interaction Pooling layer

在Embedding层和神经网络之间加入了特征交叉池化层是本网络的核心创新(PNN加的是product_layer)
f B I ( V x ) = ∑ i = 1 n ∑ j = i + 1 n x i v i ⊙ x j v j f_{B I}\left(\mathcal{V}{x}\right)=\sum{i=1}^{n} \sum_{j=i+1}^{n} x_{i} \mathbf{v}{i} \odot x{j} \mathbf{v}_{j} fBI​(Vx)=∑i=1nj=i+1∑n​xi​vi⊙xjvj​

其中第 k k k维的操作： ( v i ⊙ v j ) k = v i k v j k \left(v_{i} \odot v_{j}\right){k}=\boldsymbol{v}{i k} \boldsymbol{v}_{j k} (vi​⊙vj​)k=vikvjk​

一定要注意这个地方不是两个隐向量的内积，而是元素积，也就是这一个交叉完了之后k个维度不求和，最后会得到一个 k k k维向量

Bi-Interaction层不需要额外的模型学习参数，更重要的是它在一个线性的时间内完成计算，和FM一致的，即时间复杂度为 O ( k N x ) O\left(k N_{x}\right) O(kNx​)， N x N_x Nx​为embedding向量的数量。

3 隐藏层
公式如下： z 1 = σ 1 ( W 1 f B I ( V x ) + b 1 )   z 2 = σ 2 ( W 2 z 1 + b 2 )   … …   z L = σ L ( W L z L − 1 + b L ) \begin{aligned} \mathbf{z}{1}=&\sigma{1}\left(\mathbf{W}{1} f{B I} \left(\mathcal{V}{x}\right)+\mathbf{b}{1}\right) \ \mathbf{z}{2}=& \sigma{2}\left(\mathbf{W}{2} \mathbf{z}{1}+\mathbf{b}{2}\right) \ \ldots \ldots \ \mathbf{z}{L}=& \sigma_{L}\left(\mathbf{W}{L} \mathbf{z}{L-1}+\mathbf{b}_{L}\right) \end{aligned} z1=​σ1(W1fBI(Vx)+b1) z2=​σ2(W2z1+b2) …… zL=​σL​(WLzL−1+bL​)​

sigma是激活函数，不是sigmoid

4 预测层
NFM模型的前向传播过程总结如下： y ^ N F M ( x ) = w 0 + ∑ i = 1 n w i x i   + h T σ L ( W L ( … σ 1 ( W 1 f B I ( V x ) + b 1 ) … ) + b L ) \begin{aligned} \hat{y}{N F M}(\mathbf{x}) &=w{0}+\sum_{i=1}^{n} w_{i} x_{i} \ &+\mathbf{h}^{T} \sigma_{L}\left(\mathbf{W}{L}\left(\ldots \sigma{1}\left(\mathbf{W}{1} f{B I}\left(\mathcal{V}{x}\right)+\mathbf{b}{1}\right) \ldots\right)+\mathbf{b}_{L}\right) \end{aligned} y^​NFM(x)​=w0+i=1∑n​wi​xi​ ​+hTσL​(WL(…σ1(W1fBI(Vx)+b1)…)+bL​)​

实现了FM和DNN的无缝连接, 也会用到像Dropout和BatchNormalization这样的技术来缓解过拟合和在过大的改变数据分布。

1 linear part: 这部分是有关于线性计算，也就是FM的前半部分 w 1 x 1 + w 2 x 2... w n x n + b w1x1+w2x2...wnxn+b w1x1+w2x2...wnxn+b的计算。我们用了一个get_linear_logits函数实现，得到linear的输出
2 dnn part: 这部分是后面交叉特征的那部分计算，FM的最后那部分公式f(x)。 这一块主要是针对离散的特征，这个计算我们用了get_bi_interaction_pooling_output函数实现， 得到输出之后又过了DNN网络，最后得到dnn的输出

模型的最后输出结果，就是把这两个部分的输出结果加和(当然也可以加权)，再过一个sigmoid得到

NFM中的特征交叉与FM中的特征交叉有何异同，分别从原理和代码实现上进行对比分析
FM的特征交叉是低维的特征交叉，代码就是过一个线性的全连接层
NFM由于有DNN所以有高维的交叉，先过一个池化层，再过一个DNN的网络

Riccca
关注
专栏目录
【王喆-推荐系统】模型篇-(task7)DeepFM处理交叉特征
发现问题，并解决问题，批判性思维
11-06 1351
学习总结 （1）DeepFM 模型在解决特征交叉问题上非常有优势，它会使用一个独特的 FM 层来专门处理特征之间的交叉问题。具体来说，就是使用点积、元素积等操作让不同特征之间进行两两组合，再把组合后的结果输入的输出神经元中，这会大大加强模型特征组合的能力。 （2）DeepFM的三个重点： 它是由 FM 和 Deep 两部分组成的； 在实现 FM 部分特征交叉层的时候，我们使用了多个 Dot Product 操作单元完成不同特征的两两交叉； Deep 部分则与 Wide&Deep 模型一样，负责所有输
AI上推荐 之 AutoInt模型(Transformer开始玩特征交互)
Miracle8070
10-09 4711
1. 写在前面 这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会， 多看一些有关于特征交叉方向的模型paper， 把一些新的模型或者较为前沿的思想融入进来。 上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索， 通过SENET动态选择有用的交互特征， 然后再用一个双线性交互
NFM(Neural Factorization Machines)：模型原理及pytorch代码实现
zhao254014的博客
09-14 2420
NFM的核心创新点是Bi-Interaction池化部分来代替其他模型使用的拼接。
NFM模型
Hanxingjinyu的博客
03-24 1021
含义 NFM模型是将FM与DNN进行融合，通过引入特征交叉池化层将FM与DNN进行衔接，这样就组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力。 在上一节DEEPFM中，我们已经知道，FM只能将两个特征进行重组，而不能将高阶特征进行重组，并且FM是线性组合，将DNN引入，可以提升FM进行特征交互能力和学习非线性表达的能力。 NFM公式 与FM公式相比，红色部分被一个表达能力更强的函数替代，特征之间的交互不局限于两个特征，也不局限与线性组合了。 NFM在fm得到二阶的交叉特征之后，加入
推荐系统遇上深度学习(七)--NFM模型理论和实践
简书博客搬家测试账号
08-13 478
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...
（读论文）推荐系统之ctr预估-NFM模型解析
weixin_30463341的博客
07-30 153
本系列的第六篇，一起读论文~ 本人才疏学浅，不足之处欢迎大家指出和交流。 今天要分享的是另一个Deep模型NFM(串行结构)。NFM也是用FM+DNN来对问题建模的，相比于之前提到的Wide&Deep(Google)、DeepFM(华为+哈工大)、PNN(上交)和之后会分享的的DCN(Google)、DIN(阿里)等，NFM有什么优点呢，下面就走进模型我们一起来看看吧。 原文：N...
推荐系统深度学习篇-NFM 模型介绍(1)
来自Daisy和她的单程车票
11-19 2306
一、NFM 模型介绍 NFM是2017年由新加披国立大学提出的一种模型，其主要优化点在于提出了Bi-Interaction，Bi-Interaction考虑到了二阶特征组合，减轻了后面MLP部分学习特征信息的压力 论文地址：https://arxiv.org/pdf/1708.05027.pdf 其结构如下 BI-Interaction的结构为 该式可化简为 详细推导过程如下 编程简单记忆方式： 和的平方-平方的和 需要注意的是： 1.该图显示的是在Bi-Interaction后由三层MLP构成，但
2021-03-4:task04_NFM模型
DDxuexi的博客
03-24 194
由于之前没有看过NFM,这里先把.md文件进行了阅读、理解并将其复制到了笔记里，然后就是整体的tf的实现及结果的展示 WideNDeep、DeepFm、NFM代码演示中的区别 线性部分 一阶线性部分相同 DeepFm多了个二阶特征交叉,内积得到了一个数 nfm元素积操作,得到的是向量,在进行两两Embedding元素积之后，对交叉特征向量取和， 得到该层的输出向量， 很显然， 输出是一个 ???? 维的向量。 deep部分 widendeep在演示的代码中是对数值型特征和类别型特征都进行了deep
深度推荐模型-NFM
Etc_in_the_great的博客
03-24 295
一、动机 传统的FM模型仅局限于线性表达和二阶交互，无法胜任生活中各种具有复杂结构和规律性的真实数据，针对这点不足，作者提出了一种将FM融合进DNN的策略，通过引进一个特征交叉池化层的结构，使得FM与DNN完美衔接，这样组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力，形成了NFM模型。 作者在这里的改进思路是用一个表达能力更强的函数来替代原FM中二阶隐向量内积的部分，表达能力更强的函数，使用神经网络来充当，是一个考虑了交叉，高层使用的DNN网络，最终形成NFM网络。 二、模型结构
从FM推演各深度学习CTR预估模型（附代码）
热门推荐
寒小阳
07-13 1万+
作者： 龙心尘 && 寒小阳 时间：2018年7月。 出处：https://blog.csdn.net/longxinchen_ml/article/details/81031736 http://blog.csdn.net/han_xiaoyang/article/details/？ 声明：版权所有，转载请联系作者并注明出处。本文代码部分参考了lambda等同学的tens...
推荐系统FM系列文章（三）-- NFM模型
hionechance的blog
12-19 732
0. 写在前面 继上次介绍了DeepFM模型后，本文我们介绍将FM模型思想结合神经网络的又一工作 – NFM（Neural Factorization Machine），一起来看看NFM相比于FM模型及DeepFM模型有哪些不同之处以及优化点。 个人心得： bi-interaction pooling layer，一种element-wise product的特征交叉层 论文地址： https://arxiv.org/pdf/1708.05027.pdf 1. 背景 DeepFM将神经网络成功引入了FM
《Neural Factorization Machines for Sparse Predictive Analytics》NFM模型及python代码
十三
04-10 1138
1 原文 点击【原文】即可进行下载 2 NFM模型 在当今互联网工业界中，有许多预测任务需要用到大量的类别特征。要想将这些类别特征送入到模型中，就必须得将其onehot。但这样一来，就会产生大量的稀疏特征，要想从这些稀疏特征中充分学习到有用的信息，必须要考虑特征之间的相互作用。 FM算法是一种常用的解决方案，因为它充分考虑了二阶特征之间的相互作用。然而FM有一个缺点，就是它仅仅以线性的方式组合了特...
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
最新发布
qq_44665283的博客
09-07 726
深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用
NFM
Miraitowa的博客
03-24 1025
简介 NFM全称为：Neural Factorization Machines for Sparse Predictive Analytics 论文地址为：https://arxiv.org/pdf/1708.05027.pdf 特点及简介 （1）是第一个在神经网络模型中引入双向交互池化操作的，并且由此提出了一种新的神经网络方法。 （2）本方法加深神经网络框架下的FM使之能够面对高阶和非线性特征。 （3）该方法能够在稀疏数据集上使用神经网络进行预测，并且效果较好。 该模型是通过新的将FM融入到DNN的方法，
AFM
zhangbaoanhadoop的博客
08-22 326
# !/usr/bin/env python # coding=utf-8 """ TensorFlow Implementation of <<Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks>> with the...
CTR模型：NFM
rosefun96的博客
09-08 9034
1. 简介 FM模型可以捕捉二阶特征，但只能线性组合，无法学习非线性关系。 DNN虽然可以学习非线性特征交互，但深度网络难于训练。 NFM（Neural Factorization Machines for Sparse Predictive Analytics∗）模型在2017年被提出。 该模型结果FM二阶特征交互的线性，以及DNN高阶特征交互的非线性。 FM 是NFM的特例，和Wide & Deep， Deep Crossing相比， NFM网络结构更浅，预测能力更强。 NFM模型引入了二阶交叉
深度学习推荐模型-NFM
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-25 653
深度学习推荐模型-NFM 本文参考链接，仅供个人学习： https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel 相关学习书籍推荐：《深度学习推荐系统》王喆
深度推荐模型 -NFM
Joye_BNU的博客
03-22 1053
NFM 文章目录NFM提出背景 & 与其他模型的关系FM回顾NFM公式NFM网络总体结构网络各层的详细解释Input层和Embedding层Bi-Interaction Pooling layer隐藏层预测层小结 参考推荐系统遇上深度学习(七)–NFM模型理论和实践 提出背景 & 与其他模型的关系 NFM这个模型是在FM的基础上提出的，是为了改进FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，同时为了建模更高阶的特征而提出的。NFM是
深度模型笔记04 NFM模型与应用
ritatype的博客
03-22 265
深度推荐模型笔记
NFM推荐算法pytorch实现
05-15
以下是基于PyTorch实现的NFM推荐算法代码，供参考： ``` import torch import torch.nn as nn import torch.nn.functional as F class NFM(nn.Module): def __init__(self, feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob): super().__init__() self.feature_dim = feature_dim self.embedding_dim = embedding_dim self.hidden_dim = hidden_dim self.output_dim = output_dim self.dropout_prob = dropout_prob self.embedding = nn.Embedding(feature_dim, embedding_dim) self.linear1 = nn.Linear(embedding_dim, hidden_dim) self.linear2 = nn.Linear(hidden_dim, output_dim) self.linear3 = nn.Linear(embedding_dim, output_dim) self.dropout = nn.Dropout(dropout_prob) def forward(self, x): # Embedding layer x_emb = self.embedding(x) # Bi-Interaction layer sum_square = torch.sum(x_emb, dim=1) ** 2 square_sum = torch.sum(x_emb ** 2, dim=1) bi_interaction = 0.5 * (sum_square - square_sum) # MLP layer mlp_output = F.relu(self.linear1(self.dropout(bi_interaction))) mlp_output = self.linear2(self.dropout(mlp_output)) # Output layer output = self.linear3(x_emb.mean(dim=1)) + mlp_output return output ``` 其中，`feature_dim`为特征维度，`embedding_dim`为嵌入维度，`hidden_dim`为隐层维度，`output_dim`为输出维度，`dropout_prob`为dropout概率。 在模型的前向传播过程中，首先通过`nn.Embedding`层将输入的离散特征转化为嵌入向量，然后通过Bi-Interaction Layer计算二阶交叉特征，再通过MLP Layer进行非线性变换，最后将MLP输出和原始嵌入向量的平均值相加得到最终输出。 使用时，可以像以下代码一样初始化并训练模型： ``` # 初始化模型 model = NFM(feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 for epoch in range(num_epochs): for inputs, targets in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() ``` 其中，`feature_dim`、`embedding_dim`、`hidden_dim`、`output_dim`、`dropout_prob`、`learning_rate`、`num_epochs`等参数需要根据具体情况进行设置，`dataloader`是一个PyTorch的`DataLoader`对象，用于加载训练数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值