AI上推荐 之 FNN、DeepFM与NFM(FM在深度学习中的身影重现)

最新推荐文章于 2022-09-22 15:00:14 发布
最新推荐文章于 2022-09-22 15:00:14 发布
阅读量1.2w 收藏 99
点赞数 46
分类专栏： 推荐系统学习笔记 文章标签： 推荐系统 FNN DeepFM NFM 特征交叉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/109532267
版权

1. 前言

随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：

  • 信息消费者：如何从大量的信息中找到自己感兴趣的信息？
  • 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？

为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协同过滤，矩阵分解，LR, FM, FFM, GBDT)到深度学习的浪潮之巅(DNN, Deep Crossing, DIN, DIEN, Wide&Deep, Deep&Cross, DeepFM, AFM, NFM, PNN, FNN, DRN), 现在正无时无刻不影响着大众的生活。

推荐系统通过分析用户的历史行为给用户的兴趣建模， 从而主动给用户推荐给能够满足他们兴趣和需求的信息， 能够真正的“懂你”。 想上网购物的时候， 推荐系统在帮我们挑选商品， 想看资讯的时候， 推荐系统为我们准备了感兴趣的新闻， 想学习充电的时候， 推荐系统为我们提供最合适的课程， 想消遣放松的时候， 推荐系统为我们奉上欲罢不能的短视频…, 所以当我们淹没在信息的海洋时， 推荐系统正在拨开一层层波浪， 为我们追寻多姿多彩的生活！

这段时间刚好开始学习推荐系统， 通过王喆老师的《深度学习推荐系统》已经梳理好了知识体系， 了解了当前推荐系统领域各种主流的模型架构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
翻滚的小@强
关注
  • 46
    点赞
  • 踩
  • 99
    收藏
    觉得还不错? 一键收藏
  • 41
    评论
专栏目录
订阅专栏
推荐系统8---FNN、DeepFM与NFM(FM在深度学习中的身影重现)
weixin_41403341的博客
07-23 1253
FNN，DeepFM，FNN （FM模型在深度学习中的各种变换）
AI 推荐模型
Harrytsz的博客
10-21 1035
该仓库尝试整理推荐系统领域的一些经典算法模型，主要包括传统的推荐算法模型和深度学习模型， 并尝试用浅显易懂的语言把每个模型或者算法解释清楚！此次整理依然是通过CSDN博客+GitHub的形式进行输出， CSDN主要整理算法的原理或者是经典paper的解读， 而GitHub上主要是模型的复现和实践，模型的复现这块不限于Pytorch框架或者TensorFlow框架， 下面很多模型是使用了两种框架，Pytorch使用了经典的那种建模风格， 而TensorFlow使用了Deepctr的函数式API的那种建模风格。
推荐系统中特征交叉模型之——DeepWide/DeepFM/NFM
qq_39158406的博客
03-21 766
前言 上篇文章中我们引入了推荐系统中特征交叉的概念，以及介绍了一些常见的特征交叉方法，这篇文章我们将详细地讨论一下推荐系统中特征交叉地模型，他们的特点，以及他们为什么会这样。本文中介绍的模型有Wide & Deep，deepFM，NFM，以及AFM和相应地拓展。 Wide & Deep 首先附上Wide&deep的模型结构，看起来很简单，左边时一个线性模型，右边时一个DNN模型。该模型采用线性部分提升模型的记忆能力，同时采用DNN部分提升模型的泛化能力。 与DNN部分相比，Wide
深度推荐模型之NFM模型
qq_36559719的博客
03-25 815
NFM 背景 今天学习深度推荐模型中的NFM(Neural Factorization Machines)模型，该模型是由2017年在SIGIR会议上提出的。CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，所以通过Deep Network来建模更高阶的特征之间的关系，提出了一种将FM融合进DNN的策略，通过引进了一个特征交叉池化层的结构，使得FM与DNN进行了完美
推荐系统之 FNN和DeepFM和NFM
Francis_s的博客
11-14 1445
感谢FNN，让我发现自己FM，FFM还理解得不到位，于是重新跑了下别人复现的网络，感慨万千，自己怎么这么菜啊ORZ 1.FNN 我们发现，现有的网络，FM，FFM都只是做到了两路特征交叉，但发现这不够啊，表达能力不够强，于是大佬们就提出了FM与DNN交叉的FNN网络，利用神经网络对特征进行高阶的特征交叉，加强了模型对数据的学习能力。 我们先来看这个网络的结构： 在神经网络的参数初始化过程中，往往采用随机出实话这种不包含任何先验信...
转载FNN、DeepFM与NFM
guanlily123的博客
08-31 154
总结的太好了，强烈推荐！！！ AI上推荐 之 FNN、DeepFM与NFM(FM在深度学习中的身影重现) https://blog.csdn.net/wuzhongqiang/article/details/109532267
推荐系统7 NFM & AFM
posuosini的博客
09-22 140
nfm主要解决fm线性模型的问题，创新加入了特征交叉池化层，把原来的点积运算改变成了，元素积，得到的是向量结果，在连接dnn网络，afm解决nfm不加区分的对待交叉特征，融合了注意力机制，不同的交互向量在压缩成单个是对预测结果的影响是不同的
FFM及DeepFFM模型及其在推荐系统中的应用
Yasin的博客
06-09 3961
大纲 今天我们主要介绍一下，FFM模型和它的深度学习模型版本，以及我们在这个基础上改造的两个模型。首先，介绍大规模推荐系统的整个流程框架和其中一些比较核心的技术点。第二，介绍推荐系统的两大类Rank模型：传统模型和深度学习模型的发展历程和各自的特点。第三，介绍FFM模型的优缺点，针对缺点，提出一个改进的版本，即“双线性FFM模型”。另外，大致介绍，典型的深度学习模型的特点及使用场景。最后，介...
tensorflow-DeepFM-master.zip
03-22
DeepFM（Factorization Machine with Deep Neural Network）是一种融合了浅层特征组合和深度学习的推荐算法，它在处理大量离散特征时表现出色，相比PNN（Product-based Neural Network）、FNN（Factorization ...
基于Python实现深度学习与神经网络（源码+数据+说明文档）.rar
最新发布
05-15
1、资源内容：基于Python实现深度学习与神经网络（源码+数据+说明文档）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、解压说明：本资源...
FLch7FNNeg3.zip_人工智能/神经网络/深度学习_matlab_
08-10
在本文中，我们将深入探讨如何使用MATLAB进行模糊神经网络（FNN）的构建与应用，特别是在解耦问题上的解决方案。MATLAB作为一种强大的数学计算软件，因其丰富的工具箱和友好的用户界面，常被用于机器学习和人工智能...
BP_Hidden.rar_人工智能/神经网络/深度学习_matlab_
08-11
标题中的"BP_Hidden.rar"是一个压缩包文件，其中包含了与人工智能、神经网络和深度学习相关的MATLAB源代码。MATLAB是一种广泛用于科学计算、数据分析和工程应用的编程语言，尤其在信号处理、图像处理和机器学习等...
FuzzyNet.rar_人工智能/神经网络/深度学习_matlab_
08-11
模糊神经网络（Fuzzy Neural Network, FNN）是一种结合了模糊逻辑系统与神经网络理论的智能计算模型，广泛...这个源代码对于想要在人工智能、神经网络和深度学习领域深化理解的学者和工程师来说，是一个宝贵的资源。
CTR的模型：FM、FFM和DeepFM的理解
zhuhongde的博客
07-11 4751
参考文献 1.FM系列算法解读（FM+FFM+DeepFM） 2.深入FM和FFM原理与实践 3.CTR学习笔记系列—— FM 和 FFM 4.FM算法及FFM算法 5.『我爱机器学习』FM、FFM与DeepFM 6.CTR预估算法之FM, FFM, DeepFM及实践 前言 在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介...
【注意力+推荐系统】Attention！当推荐系统遇见注意力机制
zenRRan的博客
02-24 3022
点击上方，选择星标，每天给你送干货！NewBeeNLP原创出品公众号专栏作者@上杉翔二悠闲会·信息检索当注意力机制都已经变成很tasteless的手法的时候，使用或者魔改注意力机制一定...
排序算法模型(8)：使用Attention机制结合FM的CTR预估模型AFM
唐犁的博客
04-07 439
由于LR在特征工程上的高昂成本，具有隐性特征交叉向量的FM()成为挖掘二阶特征组合的CTR预估。FM的核心思路是，为每一个特征设置一个隐向量，根据该向量的值来表示该特征与其他特征之间的关系。对于任意两个特征的组合，只需要求出两个隐向量的内积即可得到其权重值。FM在CTR预估作业上的潜力被不断挖掘，先是FFM()提出了“field”概念。原始的FM是每个特征只有一个隐向量wi​，而FFM则认为特征应该被分为不同的field，如果一共被分为n个不同field的话，每个特征就应该具备n个不同的隐向量。
基于pytorch使用NNI的mnist例子分析（附完整代码）
Melody
02-13 4222
工程目录 config.yml ：配置文件 main.py ：mnist_pytorch程序 search_space.json ：搜索空间定义文件 配置文件（config.yml） authorName: default experimentName: mnist_pytorch trialConcurrency: 1 maxExecDuration: 100h maxTrialNum: ...
计算广告CTR预估系列(四)--Wide&Deep理论与实践
热门推荐
李宁宁
06-06 1万+
计算广告CTR预估系列(四)–Wide&Deep理论与实践 计算广告CTR预估系列(四)–Wide&Deep理论与实践 1. 名词解释 1.1 Memorization 和 Generalization 1.2 Wide 和 Deep 1.3 Cross-product transformation 2. Wide & Deep Model 2.1 推荐系统 2....
AI上推荐 之 协同过滤
Miracle8070
08-21 1万+
㐇
NFM推荐算法pytorch实现
05-15
以下是基于PyTorch实现的NFM推荐算法代码，供参考： ``` import torch import torch.nn as nn import torch.nn.functional as F class NFM(nn.Module): def __init__(self, feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob): super().__init__() self.feature_dim = feature_dim self.embedding_dim = embedding_dim self.hidden_dim = hidden_dim self.output_dim = output_dim self.dropout_prob = dropout_prob self.embedding = nn.Embedding(feature_dim, embedding_dim) self.linear1 = nn.Linear(embedding_dim, hidden_dim) self.linear2 = nn.Linear(hidden_dim, output_dim) self.linear3 = nn.Linear(embedding_dim, output_dim) self.dropout = nn.Dropout(dropout_prob) def forward(self, x): # Embedding layer x_emb = self.embedding(x) # Bi-Interaction layer sum_square = torch.sum(x_emb, dim=1) ** 2 square_sum = torch.sum(x_emb ** 2, dim=1) bi_interaction = 0.5 * (sum_square - square_sum) # MLP layer mlp_output = F.relu(self.linear1(self.dropout(bi_interaction))) mlp_output = self.linear2(self.dropout(mlp_output)) # Output layer output = self.linear3(x_emb.mean(dim=1)) + mlp_output return output ``` 其中，`feature_dim`为特征维度，`embedding_dim`为嵌入维度，`hidden_dim`为隐层维度，`output_dim`为输出维度，`dropout_prob`为dropout概率。 在模型的前向传播过程中，首先通过`nn.Embedding`层将输入的离散特征转化为嵌入向量，然后通过Bi-Interaction Layer计算二阶交叉特征，再通过MLP Layer进行非线性变换，最后将MLP输出和原始嵌入向量的平均值相加得到最终输出。 使用时，可以像以下代码一样初始化并训练模型： ``` # 初始化模型 model = NFM(feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 for epoch in range(num_epochs): for inputs, targets in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() ``` 其中，`feature_dim`、`embedding_dim`、`hidden_dim`、`output_dim`、`dropout_prob`、`learning_rate`、`num_epochs`等参数需要根据具体情况进行设置，`dataloader`是一个PyTorch的`DataLoader`对象，用于加载训练数据。
评论 41
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值