AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks

最新推荐文章于 2025-03-24 17:26:52 发布
最新推荐文章于 2025-03-24 17:26:52 发布
阅读量1.5k 收藏 1
点赞数 2
分类专栏： Recommendation System
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChristineC_/article/details/104483594
版权

时间：2019.08

作者：Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang

 

Abstract

使用Multi-head self attention来进行自动特征交叉学习

 

Model Architecture

Embedding Layer

preview

categorical feature和numerical feature都用embedding表示

 

Multi-head Self-Attention

使用multi-head self-attention把特征映射到不同子空间中，每个子空间可以学习到不同的特征组合

  1. 输入特征通过矩阵乘法线性变换为在注意力空间下的向量表示，对于每个特征
最低0.47元/天 解锁文章
AI上推荐 之 AutoInt模型(Transformer开始玩特征交互)
Miracle8070
10-09 5091
1. 写在前面 这段时间做优化模型的事情，正好和特征交互有关系，这个也是推荐系统里面一直探索的一个方向，从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，而这次正好借着这次机会， 多看一些有关于特征交叉方向的模型paper， 把一些新的模型或者较为前沿的思想融入进来。 上一篇的FiBinet模型就是在特征交互上一个非常有意思的探索， 通过SENET动态选择有用的交互特征， 然后再用一个双线性交互
特征交互（Feature Interaction）及多项式特征（PolynomialFeatures）
data+scenario+science+insight
04-19 3286
特征交互（Feature Interaction）及多项式特征（PolynomialFeatures）也是特征工程的一部分。 有一个经典的大白话的例子，有一杯咖啡，加了糖然后还有一根搅拌的棍子，如果需要咖啡甜如何操作才行？ 只是加糖或者只是搅拌都不会达到预期的效果，只有当加了糖而且还搅拌了的情况下，才能获得甜咖啡。 这就是特征的交互，进一步扩展就可以获得多项式特征。 Polynomialfeaturesarethosefeaturescreatedbyraising...
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
hestendelin的专栏
10-26 1100
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural NetworksWeiping Son...
【论文阅读】AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks(CIKM,19)
凝眸伏笔的博客
08-06 1913
一句话总结：继交叉特征之后加入特征筛选（交叉特征的扩展）。Self-Attention会先计算每个embedding向量和其他向量的相关系数，然后再用所有向量的系数乘上自己的embedding作为下一层的输入，所以我们可以计算得到每个向量和其他向量的关系，再将相关性强的特征进行组合，作为新的特征。 写在前面： 传统的推荐算法，从LR，Poly2，FM，FFM，这些方法基本都还是基于二阶交叉，随着DNN的发展，有了词的embedding，我们开始尝试用堆叠网络层的方案来获取深度的特征交叉，于是在中间几年更
《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》
最新发布
Blockchain210的博客
03-24 264
《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》 第一次将attention思想运用到推荐系统的特征交叉领域中，Note：Docs
[CIKM2019] AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
卢之
05-24 440
像CTR预估这种任务在推荐系统或者在线广告当中十分常见，但是这个问题也非常具有挑战性，比如所使用的输入特征都是离散并且高维的，有效的预测依赖于高阶组合特征(又称交叉特征)。因此，人们一直在努力寻找稀疏和高维原始特征的低维表示及其有意义的组合。 这篇论文提出了AutoInt来学习高阶特征的交叉表示。并且提出了一个具有残差连接的多头自关注力神经网络，以明确地模拟低维空间中的特征互动。通过多头自关注神...
RS Meet DL(64)-通过自注意力机制来自动学习特征组合
小小挖掘机
09-14 759
本文要介绍的论文题目是《AutoInt: Automatic Feature Interaction Learning via Self-A entive Neural ...
AutoInt，即Automatic Feature Interaction Learning via Self-Attentive Neural Networks，请用继承keras.Layer的方式实现，并重写Layer的init、build、call、get_config方法
02-07
AutoInt 是一种通过自注意力神经网络来学习特征交互的方法。 可以通过继承 keras.layers.Layer 类来实现 AutoInt。重写 init、build、call、get_config 方法可以自定义层的初始化、构建、运行和序列化。 以下是一...
AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型
热门推荐
浅梦的学习笔记
12-27 1万+
本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分 核心结...
Model-Agnostic Methods - Feature Interaction&Feature Importance
Gin077的专栏
02-23 493
一、Feature Interaction The interaction between two features is the change in the prediction that occurs by varying the features after considering the individual feature effects. 二、Feature Importance ...
Python MUFFIN人岗匹配，推荐算法，Self-Attentional Multi-Field Features Representation and Interaction Learning
L_goodboy的博客
03-16 949
Python MUFFIN人岗匹配，推荐算法，Self-Attentional Multi-Field Features Representation and Interaction Learning
论文阅读：Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition
Kivee的博客
09-21 1311
Zoom-Net（ECCV2018） 文章   Paper展示了通过对local的object feature和global的predicate feature进行深层次的message passing和interaction是增强relationship recognization性能的一个有效途径。为了能够对object和predicate学习好的特征，paper研究了3种可解释的模型。 1...
数据融合概念解析：特征融合与特征交互
rvdgdsva的博客
04-18 1165
遥感系列第14篇.遥感图像处理方向的学习者可以参考或者复刻
【知识图谱】通过深度强化学习的可解释的基于知识图的推荐
qq_43058281的博客
10-25 839
Article 作者：Weiping Song, Zhijian Duan, Ziqing Yang, Hao Zhu, Ming Zhang, Jian Tang 文献题目：通过深度强化学习的可解释的基于知识图的推荐 文献时间：2019 https://github.com/DeepGraphLearning/RecommenderSystems 摘要 本文研究了具有知识图谱的推荐系统，可以有效解决数据稀疏和冷启动问题。最近，针对这个问题已经开发了多种方法，通常尝试学习用户和项目的有效表示，然后根据
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
BITDDD小栈
04-24 1747
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。
深度学习CTR模型粗略记录
大锅八十小锅四十
06-14 881
这里写自定义目录标题FM：Factorization MachinesDNN：Embedding+MLPWND:Wide & Deep Learning for Recommender SystemsNFM：Neural Factorization Machines for Sparse Predictive AnalyticsAFM: Attentional Factorization ...
搜索排序：粗排
u012194696的专栏
12-21 887
粗排在搜索链路中的定位介于召回与精排之间，既要承接召回的多样性，又要为精排提供足够的排序精度支撑。在设计粗排策略时，需要明确其与精排的差异化目标，从子集优质性、协作效率、覆盖性等方面入手，通过特征优化、多目标建模等手段，在效率与效果之间找到平衡点，从而最大化搜索系统的整体表现。
FiBiNET：结合特征重要性和双线性特征交互进行CTR预估
浅梦的学习笔记
07-10 6144
简介 今天主要介绍新浪微博机器学习团队发表在RecSys19上的一项工作。 文章标题为 FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction 文章指出当前的许多通过特征组合进行CTR预估的工作主要使用特征向量的内积或哈达玛积来计算交叉特征，这种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值