AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型

已于 2022-10-01 15:53:44 修改
阅读量1.1w 收藏 36
点赞数 3
分类专栏： 推荐系统 文章标签： 学习 深度学习 机器学习
于 2018-12-27 22:04:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012151283/article/details/85310370
版权
AutoInt模型利用多头自注意力机制进行特征交互学习，提升点击率预测任务的准确性。在交互层，特征通过线性变换进入注意力空间，计算相似度并形成注意力分布，进而加权求和生成新特征表示。该模型适用于深度学习和机器学习的CTR任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648

简介

这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。
废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分
在这里插入图片描述

核心结构

输入和嵌入

在这里插入图片描述
针对类别特征，通过embedding方式转换为低维稠密向量
e i = V i x i e_i=V_ix_i ei​=Vi​xi​
其中， V i V_i Vi​是特征组 i i i对应的嵌入字典(嵌入矩阵), x i x_i xi​是特征组特征的独热编码表示向量(通常处于节省空间的考虑，只存储非零特征对应的索引)

对于连续特征有，
e m = v m x m e_m=v_mx_m em​=vm​xm​
其中 v m v_m vm​是嵌入向量， x m x_m xm​是一个标量值

通常在CTR任务中我们对连续值特征对处理方式有三种：

  1. 进行归一化处理拼接到embedding向量侧
  2. 进行离散化处理作为类别特征
  3. 赋予其一个embedding向量，每次用特征值与embedding向量的乘积作为其最终表示

本文采取的是第三种方式，具体这三种方式孰优孰劣，要在具体场景具体任务下大家自己去验证了~

从实现的角度看第三种是比较便捷的。

InteractingLayer（交互层）

交互层使用多头注意力机制将特征投射到多个子空间中，在不同的子空间中可以捕获不同的特征交互模式。通过交互层的堆叠，可以捕获更高阶的交互模式。

下面展示在特定子空间 h h h下，对于特征组 m m m下的特征 e m e_m em​，交互层是如何计算与其相关的交互特征 e ~ m ( h ) \tilde{e}^{(h)}_m e~m(h)​的
在这里插入图片描述

  1. 首先输入特征通过矩阵乘法线性变换为在注意力空间下的向量表示，对于每个特征 e m e_m em​在特定的注意力空间 h h h中，都有三个表示向量 E m h : Q u e r y = W Q u e r y ( h ) e m E^{h:Query}_m=W^{(h)}_{Query}e_m Em

最低0.47元/天 解锁文章
AI上推荐 之 AutoInt模型(Transformer开始玩特征交互)
Miracle8070
10-09 5112
1. 写在前面 这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会， 多看一些有关于特征交叉方向的模型paper， 把一些新的模型或者较为前沿的思想融入进来。 上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索， 通过SENET动态选择有用的交互特征， 然后再用一个双线性交互
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1831
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
【李宏毅2020 ML/DL】P23 Transformer | Self-attention, Multi-head Self-attention
记录学习痕迹的公众号：Piper蛋窝
07-28 1248
清晰讲解了 Transformer 。
深入浅出 Multi-Head Attention：原理 + 例子 + PyTorch 实现
最新发布
murphymeng2001的博客
04-18 1487
简单说，多头注意力就是一种让模型在多个角度“看”一个序列的机制。在自然语言中，一个词的含义往往依赖于上下文，比如：“我把苹果给了她”模型在处理“苹果”时，需要关注“我”“她”“给了”等词，多头注意力就是这样一种机制——从多个角度理解上下文关系。项目解释目的提升模型表达能力，从多个角度理解输入核心机制将向量分头 → 每头独立 attention → 合并输出技术关键viewtransposematmulsoftmax, 拼接线性层。
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 6018
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
【ML】multi head self-attention(自注意力机制)
格物致知
08-06 1269
不管是 self-attention 还是 multi head self-attention都是位置无关的算法（举例：根据self-attention,a1 和 a4 或者 a1 与 a2 的举例相关性是一样的，并没有将位置信息编码到 O的的输出中，不反应位置相干的信息，因此为位置无关），这里通过 positional encoding 加入位置信息。对于序列中的每个元素，我们通过不同的线性变换将其分解为查询向量 ( q_i )、键向量 ( k_i ) 和值向量 ( v_i )。其中 n 是序列的长度。
Transformer2--Multi-head self-attention
luralying的博客
06-26 1197
为什么是multi-head self attention?**并行的处理多种注意力模式：**每个注意力头使用不同的线性变换，这意味着它们可以从输入序列的不同子空间中学习不同的特征关联。这样一来，模型可以通过多个注意力头同时关注输入序列的不同方面，如一句话的语法结构、语义角色、主题转移等。**增加模型的学习能力和表达能力：**通过多个注意力头，由于每个头关注的特征不同，模型可以学习到更丰富的上下文信息，这样综合起来可以更加全面的理解和处理序列。
2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
weixin_43937959的博客
03-22 2252
Multi-head Self-attention  Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。在作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline。  但并不代表所有的任务,
【论文笔记】Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction
qq_42924581的博客
08-05 1594
《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习 文章目录《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文学习摘要一、介绍二、MAIN模型嵌入层多交互层Multi-Interactive Layer全局交互模块Global Interact
浅析Attention在推荐系统中的应用（3）AutoInt模型
黑暗之神
03-23 1260
欢迎关注本人公众号： petertalks 专栏目录： 浅析Attention在推荐系统中的应用（1）Attention简介 浅析Attention在推荐系统中的应用（2）阿里Deep Interest Network模型 浅析Attention在推荐系统中的应用（3）AutoInt模型 浅析Attention在推荐系统中的应用（4）Transformer与阿里BST模型 前言 ...
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-Head self-Attention结构细节
weixin_54039182的博客
05-06 880
详细描写了多头注意力机制的计算原理及过程。
autoint模型
zhangwl27的专栏
07-23 622
参考： https://zhuanlan.zhihu.com/p/53462648 https://zhuanlan.zhihu.com/p/60185134 https://www.jianshu.com/p/bc8c85dc5a54
【深度学习】从self-attention到transformer（Multi-head self-attention）
五好市民金闪闪的博客
07-25 648
简介 今天讲以self-attention为基础讲解它的升级版 Muti-head self-attention，不了解self-attention的童鞋可以戳这里【深度学习】从self-attention到transform（self-attention入坑指南） 废话不说，正式开始。 为什么要使用Multi-head self-attention？ 单纯从字面意思看，Multi-head self-attention比self-attention多了Multi-head，它的意思为多头。可以理解为多种
【深度学习】李宏毅2021/2022春深度学习课程笔记 - (Multi-Head)Self-Attention (多头)自注意力机制 + Pytorch代码实现
热门推荐
知不足而奋进，望远山而前行
10-25 2万+
通过前面的分析，这就引出了 Self-attention 自注意力机制。输入整个语句的向量到self-attention中，输出对应个数的向量，再将其结果输入到全连接网络，最后输出标签。如此一来，FC考虑的就是全文的数据，而非窗口内的数据或部分数据当然，以上过程可多次重复，如下图所示Google 根据自注意力机制在《Attention is all you need》中提出了 Transformer 架构。
【数据挖掘】金融风控 Task03 特征工程
一一xi的博客
09-21 1033
【数据挖掘】金融风控 Task03 特征工程特征工程介绍数据预处理查找出对象和数值特征进行缺失值填充时间格式处理对象类特征的处理类别特征处理异常值的处理数据分箱固定宽度分箱分数位分箱卡方分箱和其他分箱方法的尝试特征交互特征编码特征选择 学习地址：https: //github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl 天池竞赛地址：https://tianchi.aliyun.com/comp
【论文阅读】AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks(CIKM,19)
凝眸伏笔的博客
08-06 1927
一句话总结：继交叉特征之后加入特征筛选（交叉特征的扩展）。Self-Attention会先计算每个embedding向量和其他向量的相关系数，然后再用所有向量的系数乘上自己的embedding作为下一层的输入，所以我们可以计算得到每个向量和其他向量的关系，再将相关性强的特征进行组合，作为新的特征。 写在前面： 传统的推荐算法，从LR，Poly2，FM，FFM，这些方法基本都还是基于二阶交叉，随着DNN的发展，有了词的embedding，我们开始尝试用堆叠网络层的方案来获取深度的特征交叉，于是在中间几年更
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4296
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Compact Multi-Head Self-Attention 低秩因子分解
小岁月太着急
01-21 837
paper：https://arxiv.org/pdf/1912.00835.pdf Proposed Model 首先对文档(评论或新闻文章)进行标记，然后通过查找将其转换为嵌入到预先训练好的嵌入矩阵中。每个标记的嵌入通过bi-GRU语句编码器进行编码，以获得该语句中每个单词的上下文注释。LAMA的注意机制通过计算单词级上下文向量对这些单词的隐藏表示的对齐分数，从而获得这些单词上的多个注意分...
注意力机制北京
03-24
### 注意力机制在北京的应用与研究 #### 背景概述 注意力机制是一种模拟人类视觉和认知过程的技术，在深度学习领域得到了广泛应用。它能够帮助模型聚焦于输入数据的重要部分，从而提升性能[^2]。 #### 北京的研究机构及其贡献 北京作为中国的科技中心之一，拥有众多顶尖高校和科研机构，这些地方在注意力机制的研究上取得了显著成果： 1. **清华大学** 清华大学的人工智能实验室深入探索了注意力机制在网络架构中的优化方法，特别是在自然语言处理（NLP）领域。他们提出了改进版的Transformer结构，进一步提升了机器翻译的效果[^3]。 2. **北京大学** 北大团队专注于视觉注意力机制的实际应用场景开发，例如基于SENet的城市交通监控系统设计。这类系统可以有效检测并分析复杂场景下的车辆行为模式[^1]。 3. **中科院自动化研究所** 中科院在此方向上的工作集中在时间序列数据分析方面，比如金融预测、气象预报等领域。其提出的LSTM+Attention组合方案已被证明能更好地捕捉长期依赖关系以及短期波动特征。 4. **字节跳动AI Lab** 字节跳动位于北京的研发部门则更多关注个性化推荐系统的构建。通过引入多头自注意机制（Multi-head Self-Attention），大幅提高了用户兴趣建模精度，进而改善广告点击率CTR预估准确性。 #### 实际案例分享 以下是几个具体实例说明如何将上述理论应用于实际问题解决当中: - 在智慧医疗项目里, 使用CBAM (Convolutional Block Attention Module)增强医学影像诊断工具的能力, 达到更精准病变区域定位目的. - 针对大规模电商网站商品搜索功能升级需求, 开发人员采用SKNet策略动态调整通道间关联程度, 显著缩短查询响应时间. ```python import torch.nn as nn class SKUnit(nn.Module): def __init__(self, in_features, out_features, M=3, r=16, L=32): super(SKUnit, self).__init__() d = max(int(out_features / r), L) self.fc = nn.Linear(out_features, d) ... def forward(self, x): ... ``` 以上代码片段展示了SKNet核心组件定义方式的一部分逻辑实现细节. ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值