多交互注意网络进行特征学习

发表于2021年WSDM

《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文阅读笔记

1. 背景：
   CTR预测，估计用户点击项目的可能性，在线广告，推荐系统等应用中很重要。候选的项目根据CTR排序。

2. 已有方法
   在CTR预测中，监督式机器学习方法，如LR，FM及其变体学习浅层特征交互；深度学习模型学习复杂的特征交互，如wide&deep，deepFM，deep & cross network（DCN）；基于RNN的序列方法根据用户的历史行为提取用户特征，如deep interest network（DIN）。

3. 存在问题：
   （1）用户经常会点击与历史行为无关的新产品，传统的给用户行为加注意机制的CTR预测方法并不适用；
   （2）很难通过近期的行为获得用户当前的喜好（很多用户在之前就有活动但近期相对不活跃）；
   （3）用户历史行为在不同特征空间中的表示被忽略。

4. 本文：
   提出多交互注意网络（MIAN），提取特征之间的潜在关系。多交互层包含三个本地交互模块（项目行为交互模块；用户项目交互模块；项目上下文交互模块ÿ