推荐系统深度学习篇-AFM模型介绍(3)

Daisy和她的单程车票

于 2020-11-19 11:55:24 发布

阅读量2.2k

点赞数

分类专栏：推荐系统文章标签：推荐系统

本文链接：https://blog.csdn.net/u012513618/article/details/109806804

版权

AFM模型是针对NFM的改进，通过Attention机制区分特征交叉的有效性，降低噪声影响。论文发表于IJCAI-17，模型结构包括Pair-wise Interaction Layer和Attention Network，并在关键层应用Dropout和L2正则化以提升泛化能力。本文提供代码示例展示AFM模型的实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、AFM模型简介

AFM模型是17年发表在IJCAI-17上的一篇论文，它是NFM模型的一个改进，在传统FM模型中，使用二阶交叉特征得到非线性表达能力，但是不是所有的特征交叉都会有预测能力，很多无用的特征交叉加入后反而会相当于加入了噪声。为了区别对待不同的特征，引入了Attention机制。

论文地址为：https://www.ijcai.org/proceedings/2017/0435.pdf

其结构图为

在这里插入图片描述
其中attention network可形式化为：

AFM模型的公式为：

需要注意的是：

为了增强泛化能力，

在Pair-wise Interaction Layer的输出使用Dropout
在Attention Network中使用L2正则化

二、代码展示

1、<vi,vj>xi,xj

def calc_pi_embedding(cate_num, emb_part):
    """
     # Emb_part[:,i,:] 假设Emb_part是m*n*t，取得[:,i,:]是第二维的数据也就是m*i*t的数据
            # 如[[[1,2,3,4,5],[3,4,5,6,7]],[[1,3,3,4,5],[3,6,5,6,7]],[[1,7,3,4,5],[3,4,5,6,1]]]
            # 取[:,0,:]
            # 结果为[[1, 2, 3, 4, 5]

最低0.47元/天解锁文章