推荐算法之AFM模型（注意力机制的引入）

已于 2022-06-28 16:10:57 修改
阅读量3.4k 收藏 20
点赞数 3
分类专栏： 推荐算法 文章标签： 人工智能 机器学习 推荐算法 深度学习
于 2022-06-27 17:38:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38375203/article/details/125487413
版权
AFM（Attentional Factorization Machines）是2017年提出的推荐系统模型，由NFM进化而来，引入注意力机制解决特征交互的权重问题。AFM模型保留了二阶交叉特征池化层，通过注意力网络赋予不同交互特征权重，提高预测效果。模型结构包括注意力网络和二阶交叉池化层，适用于回归和分类任务。
摘要由CSDN通过智能技术生成

前言

前面已经将结果很多推荐系统+深度学习的基础模型了，从这篇文章开始也进入到了注意力机制的章节。在AFM开始，大家都不再局限于将特征进行两两交互问题上面，而是开始探索一些新的结构。"Attention Mechanism"这个词现在已经不是新东西了，它来源于人类自然的选择注意习惯， 最典型的例子就是我们观察一些物体或者浏览网页时，不会聚焦于整个物体或者页面，而是会选择性的注意某些特定区域，忽视一些区域，往往会把注意力放到某些显眼的地方。 如果在建模过程中考虑到注意力机制对预测结果的影响，往往效果会更好。 近年来，注意力机制在各个领域大放异彩，比如NLP，CV等， 2017年开始，推荐领域也开始尝试将注意力机制加入模型，比如今天的AFM。

今天也是先介绍一些推荐系统+注意力机制的开胃菜AFM，首先还是看一下王喆老师的《深度学习推荐系统》已经梳理好了的知识体系。

在这里插入图片描述

1、AFM模型

 AFM(Attentional Factorization Machines)模型也是2017年由浙江大学和新加坡国立大学研究员提出的一个模型，AFM模型其实就是从前面讲解过的NFM模型的进化升级版， 该模型和NFM模型结构上非常相似， 算是NFM模型的一个延伸，在NFM中， 不同特征域的特征embedding向量经过特征交叉池化层的交叉，将各个交叉特征向量进行“加和”, 然后后面跟了一个DNN网络，但是NFM中的加和池化，它相当于“一视同仁”地对待所有交叉特征， 没有考虑不同特征对结果的影响程度，作者认为这可能会影响最后的预测效果， 因为不是所有的交互特征都能够对最后的预测起作用。 没有用的交互特征可能会产生噪声。或者说加大对预测结果重要的特征，抑制噪声特征。

举个例子来说如果应用场景是预测一位男性用户是否购买一款键盘的可能性， 那么“性别=男且购买历史包含鼠标”这个交叉特征， 很可能比“性别=男且用户年龄=30”这一个交叉特征重要。所以对于NFM来说对所有的二阶交叉特征进行无差别加和池化就不是很合理了。因此引入注意力机制就显得非常合理！

首先来看一下AFM的模型架构：

在这里插入图片描述

 可以看到的是，在这个模型之中并没有DNN模块，但是保存了NFM的二阶交叉特征池化层。

2、二阶交叉池化层

这里的二阶交叉池化层和前面讲过的NFM是一模一样的，在这里我也就不多做叙述了。但是在这里需要注意的是Attention的加入，并不是单单给某一个二维交叉特征一个权重，这样子的话对于未在训练数据中出现的交叉特征就无法进行权重赋予。所以在上图中

最低0.47元/天 解锁文章
Aliert
关注
专栏目录
AI上推荐 之 AFM与DIN模型（当推荐系统遇上了注意力机制）
Miracle8070
01-19 1万+
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
推荐算法－AFM
Silence的博客
05-24 3795
推荐算法－AFM   推荐算法－AFM，这篇文章也是在FM的基础上做工作。这篇文章是针对特征之间组合时，不同的特征都是用同样的向量去做。即每一个特征和其它的特征进行组合时，都是采用同一个向量，缺乏不同特征之间的关联性不同，应该采用不同的向量。解决这个问题的一个思路就是FFM，即每一个特征针对每一个的field生成一个特征向量，即在进行特征组合时，采用不同的向量表示去做。本文是解决这个问题的另一种思...
推荐系统AFM算法及其实现
kuoqichou2515的博客
01-01 331
算法原理 待补充 代码实现 待补充
AFM 模型
bbbeoy的专栏
12-16 436
https://zhuanlan.zhihu.com/p/82299967 https://zhuanlan.zhihu.com/p/94009156 https://blog.csdn.net/wwwsctvcom/article/details/98038484
推荐系统深度学习篇-AFM模型介绍(3)
来自Daisy和她的单程车票
11-19 2119
一、AFM模型简介 AFM模型是17年发表在IJCAI-17上的一篇论文，它是NFM模型的一个改进， 在传统FM模型中，使用二阶交叉特征得到非线性表达能力，但是不是所有的特征交叉都会有预测能力，很多无用的特征交叉加入后反而会相当于加入了噪声。为了区别对待不同的特征，引入了Attention机制。 论文地址为：https://www.ijcai.org/proceedings/2017/0435.pdf 其结构图为 其中attention network可形式化为： AFM模型的公式为： 需要注意的是：
注意力机制在深度推荐算法中的应用之AFM模型
Tak-Wah Blog
06-27 2008
1前言注意力机制来源于人类最自然的选择性注意的习惯，例如当用户浏览网页或图片时，会选择性的注意页面上特定的区域。基于此现象，在建模的过程中考虑注意力机制，往往会取得不错的收益。注意力机制...
推荐系统之DIN模型（注意力机制对业务的理解）
qq_38375203的博客
07-04 1510
前面讲过了AFM，AFM是对注意力机制的一个浅显的尝试，并没有基于业务上进行设计的一个模型。在工业领域例如在线广告上点击率（Click-through rate，CTR）预测是一个很重要的任务。在每次点击费用（cost-per-click，CPC）的广告系统中，广告按有效价格，即每千个有效成本（effective cost per mille，eCPM）排名，该价格是出价与CTR的乘积，而点击率则需要通过系统预估。因此，CTR预估模型的效果直接影响最终收益，并在广告系统中发挥关键作用。DIN是2018年阿里
【学习总结】基于注意力机制的推荐模型在注意些什么？
Blank_Space
11-04 2507
前言❝在计算能力有限的情况下，「注意力机制（AttentionMechanism）」 作为一种资源分配方案，将有限的计算资源用来处理更重要的信心，是解决信息超载问题的主要手段。 ...
AFM模型原理及Pytorch代码复现
zhao254014的博客
09-14 1447
解决的痛点问题是各个特征交叉之后的embedding向量被同等看待，赋予对预测相同重要性的问题，
基于注意力机制的群组推荐算法
weixin_30752377的博客
06-14 1593
https://www.cnblogs.com/kyxfx/articles/9181778.html https://www.cnblogs.com/kyxfx/articles/Attention-based_Group_Recommendation.html TRAN DANG QUANG VINH, Nanyang Technological University, Singap...
机器学习算法之---AFM算法
10-26
机器学习算法之---AFM算法，AFM: Learning the Weight of Feature Interactions via Attention Networks, IJCAI 2017
深度学习推荐系统(八)AFM模型及其在Criteo数据集上的应用
最新发布
qq_44665283的博客
09-08 1253
深度学习推荐系统(八)AFM模型及其在Criteo数据集上的应用
推荐系统系列：AFM模型算法原理和代码实现
wwwsctvcom的博客
08-01 2718
一、前言 发表于2017年的ijcai文章，主要采用了FM结合注意力机制进行物品的推荐，也取得了较好的效果； 论文地址为：https://www.ijcai.org/proceedings/2017/0435.pdf 二、算法原理 （1）首先介绍一下模型的整体框架对于因子分解的结果赋予一个权重，这个权重通过学习获得，来表示对不同特征交叉之间的关注度； （2）整个模型可以通过如下公式来...
推荐系统FM系列文章（四）-- AFM模型
hionechance的blog
12-20 794
0. 写在前面 前面我们介绍了FM系列的三大模型，包括FM模型，DeepFM以及NFM。DeepFM与NFM模型都对FM做了不同程度的优化，重点都是结合神经网络实现对特征的高阶组合。今天我们来介绍将attention机制应用于FM模型的AFM模型（Attentional Factorization Machine）。 个人心得： 特征组合的重要性会随预测目标的改变而发生变化 attention机制用于学习特征交叉前的不同权重 论文地址： https://www.ijcai.org/Proceedings
AFM算法
zhongqiqianga的博客
12-10 1334
目录 1:研究背景 2:网络结构 3:代码实战 1:研究背景 FM算法本身通过引入二阶feature interactions来提高线性回归模型的泛化表达能力，但它以相同的权重来对所有的特征组合进行建模。事实上很多无用特征的组合会引入噪声从而影响效果。基于这个背景下，论文提出Attentional Factorization Machine（AFM），通过neural attentio...
推荐系统之AFM代码详解
张先生－您好的博客
11-20 1034
AFM 重点：在NFM中，特征向量进行两两交叉之后，直接进行sum pooling，将二阶交叉向量进行等权求和处理。但是直觉上来说，不同的交叉特征应该有着不同的重要性。不重要的交叉特征应该降低其权重，而重要性高的交叉特征应该提高其权重。Attention概念与该思想不谋而合，AFM作者顺势将其引入到模型之中，为每个交叉特征引入重要性权重，最终在对特征向量进行sum pooling时，利用重要性权重对二阶交叉特征进行加权求和。 模型 计算公式: 框架: class BaseModel: pass
推荐算法实战项目：AFM 原理以及案例实战(附完整 Python 代码)
机器学习社区
05-04 1186
本文要介绍的是由浙江大学联合新加坡国立大学提出的AFM模型。通过名字也可以看出，此模型又是基于FM模型的改进，其中A代表”Attention“，即AFM模型实际上是在FM模型中引入了注意力机制改进得来的。之所以要在FM模型中引入注意力机制，是因为传统的FM模型对所有的交叉特征都平等对待，即每个交叉特征的权重都是相同的（都为1）。而在实际应用中，不同交叉特征的重要程度往往是不一样的。如果”一视同仁“地对待所有的交叉特征，不考虑不同特征对结果的影响程度，事实上消解了大量有价值的信息。
计算广告CTR预估系列(十)--AFM模型理论与实践
李宁宁
09-12 3334
计算广告CTR预估系列(十)–AFM模型理论与实践 计算广告CTR预估系列(十)–AFM模型理论与实践 一、简介 二、FM 三、AFM 3.1 模型 3.2 模型训练 3.3 过拟合 四、总结 五、代码实践 Reference 计算广告CTR预估系列往期回顾 一、简介 AFM全称是Attentional Factorization Machine，和NFM是同一个作者。...
实战23：商品推荐系统实战：基于AFM推荐算法的推荐系统实现 代码+数据
机器学习深度学习业余选手
11-20 889
商品推荐系统实战：基于AFM推荐算法的推荐系统实现 代码+数据
利用pytorch实现推荐算法AFM
05-15
AFM（Attentional Factorization Machines）是一种结合了因子分解机（Factorization Machines）和注意力机制（Attention Mechanism）的推荐算法。它的目的是在因子分解机的基础上引入注意力机制，从而提高推荐系统的效果。下面是利用 PyTorch 实现 AFM 的基本步骤： 首先，需要导入所需的库和数据集。例如： ``` import torch import torch.nn as nn from torch.utils.data import DataLoader, Dataset from sklearn.model_selection import train_test_split import pandas as pd # 读取数据集 data = pd.read_csv('data.csv') ``` 然后，需要对数据进行预处理，包括将类别特征进行 one-hot 编码、将数值特征进行归一化等。例如： ``` # 对类别特征进行 one-hot 编码 cat_cols = ['user_id', 'item_id', 'genre'] for col in cat_cols: data[col] = data[col].astype('category') data = pd.get_dummies(data, columns=cat_cols) # 对数值特征进行归一化 num_cols = ['age', 'rating'] for col in num_cols: min_val = data[col].min() max_val = data[col].max() data[col] = (data[col] - min_val) / (max_val - min_val) ``` 接下来，需要将数据集划分为训练集和测试集，并将其转换为 PyTorch 的 Dataset 和 DataLoader。例如： ``` # 划分训练集和测试集 train_data, test_data = train_test_split(data, test_size=0.2) # 将数据集转换为 PyTorch 的 Dataset class AFMDataset(Dataset): def __init__(self, data): self.X = torch.tensor(data.drop('rating', axis=1).values, dtype=torch.float32) self.y = torch.tensor(data['rating'].values, dtype=torch.float32) def __len__(self): return len(self.X) def __getitem__(self, idx): return self.X[idx], self.y[idx] train_dataset = AFMDataset(train_data) test_dataset = AFMDataset(test_data) # 将数据集转换为 PyTorch 的 DataLoader train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=32, shuffle=False) ``` 然后，需要定义 AFM 模型。AFM 模型由两个部分组成：FM 层和注意力层。FM 层用于学习特征之间的交互关系，注意力层用于计算每个特征的权重。例如： ``` class FM(nn.Module): def __init__(self, num_features): super().__init__() self.num_features = num_features self.w = nn.Parameter(torch.randn(num_features)) self.bias = nn.Parameter(torch.randn(1)) def forward(self, x): interactions = torch.sum(torch.mm(x, x.t()) * self.w, dim=1) return interactions + self.bias class Attention(nn.Module): def __init__(self, num_features): super().__init__() self.num_features = num_features self.W = nn.Parameter(torch.randn(num_features, num_features)) self.bias = nn.Parameter(torch.randn(1)) def forward(self, x): scores = torch.mm(x, self.W) scores = torch.mm(scores, x.t()) scores = nn.functional.softmax(scores, dim=1) outputs = torch.mm(scores, x) return outputs + self.bias class AFM(nn.Module): def __init__(self, num_features): super().__init__() self.fm = FM(num_features) self.attention = Attention(num_features) def forward(self, x): fm_output = self.fm(x) attention_output = self.attention(x) output = fm_output + attention_output return torch.sigmoid(output) ``` 最后，需要定义损失函数和优化器，并训练模型。例如： ``` # 定义损失函数和优化器 criterion = nn.BCELoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 训练模型 model = AFM(num_features=train_data.shape[1]-1) for epoch in range(10): for i, (inputs, targets) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() # 计算测试集上的准确率 correct = 0 total = 0 with torch.no_grad(): for inputs, targets in test_loader: outputs = model(inputs) predicted = torch.round(outputs) total += targets.size(0) correct += (predicted == targets).sum().item() accuracy = correct / total print(f'Epoch {epoch+1}, Test Accuracy: {accuracy:.2f}') ``` 通过以上步骤，就可以利用 PyTorch 实现 AFM 推荐算法了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值