AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型

已于 2022-10-01 15:53:44 修改
阅读量1.1w 收藏 36
点赞数 3
分类专栏： 推荐系统 文章标签： 学习 深度学习 机器学习
于 2018-12-27 22:04:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012151283/article/details/85310370
版权
AutoInt模型利用多头自注意力机制进行特征交互学习，提升点击率预测任务的准确性。在交互层，特征通过线性变换进入注意力空间，计算相似度并形成注意力分布，进而加权求和生成新特征表示。该模型适用于深度学习和机器学习的CTR任务。
摘要由CSDN通过智能技术生成

本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648

简介

这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。
废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分
在这里插入图片描述

核心结构

输入和嵌入

在这里插入图片描述
针对类别特征，通过embedding方式转换为低维稠密向量
e i = V i x i e_i=V_ix_i ei​=Vi​xi​
其中， V i V_i Vi​是特征组 i i i对应的嵌入字典(嵌入矩阵), x i x_i xi​是特征组特征的独热编码表示向量(通常处于节省空间的考虑，只存储非零特征对应的索引)

对于连续特征有，
e m = v m x m e_m=v_mx_m em​=vm​xm​
其中 v m v_m vm​是嵌入向量， x m x_m xm​是一个标量值

通常在CTR任务中我们对连续值特征对处理方式有三种：

  1. 进行归一化处理拼接到embedding向量侧
  2. 进行离散化处理作为类别特征
  3. 赋予其一个embedding向量，每次用特征值与embedding向量的乘积作为其最终表示

本文采取的是第三种方式，具体这三种方式孰优孰劣，要在具体场景具体任务下大家自己去验证了~

从实现的角度看第三种是比较便捷的。

InteractingLayer（交互层）

交互层使用多头注意力机制将特征投射到多个子空间中，在不同的子空间中可以捕获不同的特征交互模式。通过交互层的堆叠，可以捕获更高阶的交互模式。

下面展示在特定子空间 h h h下，对于特征组 m m m下的特征 e m e_m em​，交互层是如何计算与其相关的交互特征 e ~ m ( h ) \tilde{e}^{(h)}_m e~m(h)​的
在这里插入图片描述

  1. 首先输入特征通过矩阵乘法线性变换为在注意力空间下的向量表示，对于每个特征 e m e_m em​在特定的注意力空间 h h h中，都有三个表示向量 E m h : Q u e r y = W Q u e r y ( h ) e m E^{h:Query}_m=W^{(h)}_{Query}e_m Em

最低0.47元/天 解锁文章
浅梦s
关注
专栏目录
AI上推荐 之 AutoInt模型(Transformer开始玩特征交互)
Miracle8070
10-09 4725
1. 写在前面 这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会， 多看一些有关于特征交叉方向的模型paper， 把一些新的模型或者较为前沿的思想融入进来。 上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索， 通过SENET动态选择有用的交互特征， 然后再用一个双线性交互
浅析Attention在推荐系统中的应用（3）AutoInt模型
黑暗之神
03-23 1145
欢迎关注本人公众号： petertalks 专栏目录： 浅析Attention在推荐系统中的应用（1）Attention简介 浅析Attention在推荐系统中的应用（2）阿里Deep Interest Network模型 浅析Attention在推荐系统中的应用（3）AutoInt模型 浅析Attention在推荐系统中的应用（4）Transformer与阿里BST模型 前言 ...
【李宏毅2020 ML/DL】P23 Transformer | Self-attention, Multi-head Self-attention
记录学习痕迹的公众号：Piper蛋窝
07-28 1203
清晰讲解了 Transformer 。
详解 Self-Attention 和 Multi-Head Attention 的区别
最新发布
S0ybean的博客
08-05 940
一文读懂自注意力机制（SA）与多头注意力机制（MHA）
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 5789
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
weixin_43937959的博客
03-22 2179
Multi-head Self-attention  Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。在作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline。  但并不代表所有的任务,
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-Head self-Attention结构细节
weixin_54039182的博客
05-06 810
详细描写了多头注意力机制的计算原理及过程。
【论文笔记】Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction
qq_42924581的博客
08-05 1506
《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习 文章目录《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习摘要一、介绍二、MAIN模型嵌入层多交互层Multi-Interactive Layer全局交互模块Global Interact
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1481
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
autoint模型
zhangwl27的专栏
07-23 582
参考： https://zhuanlan.zhihu.com/p/53462648 https://zhuanlan.zhihu.com/p/60185134 https://www.jianshu.com/p/bc8c85dc5a54
【深度学习】从self-attention到transformer（Multi-head self-attention）
五好市民金闪闪的博客
07-25 613
简介 今天讲以self-attention为基础讲解它的升级版 Muti-head self-attention，不了解self-attention的童鞋可以戳这里【深度学习】从self-attention到transform（self-attention入坑指南） 废话不说，正式开始。 为什么要使用Multi-head self-attention？ 单纯从字面意思看，Multi-head self-attention比self-attention多了Multi-head，它的意思为多头。可以理解为多种
【深度学习】李宏毅2021/2022春深度学习课程笔记 - (Multi-Head)Self-Attention (多头)自注意力机制 + Pytorch代码实现
热门推荐
知不足而奋进，望远山而前行
10-25 2万+
通过前面的分析，这就引出了 Self-attention 自注意力机制。输入整个语句的向量到self-attention中，输出对应个数的向量，再将其结果输入到全连接网络，最后输出标签。如此一来，FC考虑的就是全文的数据，而非窗口内的数据或部分数据当然，以上过程可多次重复，如下图所示Google 根据自注意力机制在《Attention is all you need》中提出了 Transformer 架构。
【论文阅读】AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks(CIKM,19)
凝眸伏笔的博客
08-06 1699
一句话总结：继交叉特征之后加入特征筛选（交叉特征的扩展）。Self-Attention会先计算每个embedding向量和其他向量的相关系数，然后再用所有向量的系数乘上自己的embedding作为下一层的输入，所以我们可以计算得到每个向量和其他向量的关系，再将相关性强的特征进行组合，作为新的特征。 写在前面： 传统的推荐算法，从LR，Poly2，FM，FFM，这些方法基本都还是基于二阶交叉，随着DNN的发展，有了词的embedding，我们开始尝试用堆叠网络层的方案来获取深度的特征交叉，于是在中间几年更
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4051
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Compact Multi-Head Self-Attention 低秩因子分解
小岁月太着急
01-21 761
paper：https://arxiv.org/pdf/1912.00835.pdf Proposed Model 首先对文档(评论或新闻文章)进行标记，然后通过查找将其转换为嵌入到预先训练好的嵌入矩阵中。每个标记的嵌入通过bi-GRU语句编码器进行编码，以获得该语句中每个单词的上下文注释。LAMA的注意机制通过计算单词级上下文向量对这些单词的隐藏表示的对齐分数，从而获得这些单词上的多个注意分...
AutoInt：基于注意力机制网络自动构造特征交互
serenysdfg的博客
12-15 1639
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks:发表在CIKM‘2019 论文地址：https://arxiv.org/pdf/1810.11921.pdf 数据集：criteo。avazu，KDD12,MOVIELEN-1M 评估：auc，logloss 比较对...
AutoInt论文笔记
weixin_45459911的博客
06-23 2979
AutoInt Abstract CTR的本质工作：寻找稀疏高维特征的低维表示与有效组合。 本文提出AutoInt可以自动获取高阶特征的交互。 1、Introduction 2、Related Work NFM、PNN、FNN等进行特征的隐式交互，缺乏解释性 关于解释性主要有以下三个方向： Deep&Cross、xDeepFM等显式交互，但仍缺乏解释 树模型，利用embedding加树模型，但是训练要分多步骤进行 HOFM，高阶交互可解释性 3、Problem Definition
Multi-Head Self-Attention与Multi-Head Attention的中文
05-14
Multi-Head Self-Attention和Multi-Head Attention都是自注意力机制（self-attention）的变种，具体含义如下： - Multi-Head Self-Attention（多头自注意力）：是指将输入的序列分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的自注意力表示。这种方法常用于Transformer模型中，可以增强模型的表达能力。 - Multi-Head Attention（多头注意力）：是指将输入的两个序列（通常是查询序列和键值序列）分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的注意力表示。这种方法常用于序列到序列模型中，可以实现对不同位置信息的集成和关联。 需要注意的是，Multi-Head Self-Attention和Multi-Head Attention的主要区别在于输入序列的不同，前者是一个序列，后者是两个序列。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值