CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction

作者关于论文发的一些想法
https://zhuanlan.zhihu.com/p/287898562

ABSTRACT

受深度学习成功的启发，最近的工业点击率(CTR)预测模型已经从传统的浅层方法过渡到深度方法。深度神经网络(DNNs)具有从原始特征中自动学习非线性交互作用的能力，然而，非线性特征交互作用是以隐式方式学习的。这种非线性的交互作用可能很难捕捉并显式建模，原始特征的交互作用有利于CTR预测，协同作用指的是特征对最终预测的集体影响。在这篇文章中，我们认为目前的CTR模型没有充分挖掘特征共同作用的潜力。我们进行了实验，结果表明特征协同作用的效果被严重低估。基于我们的观察，我们提出了特征协同作用网络(CAN)来挖掘特征协同作用的潜力。该模型能够高效、有效地捕捉特征间的相互作用，在降低存储和计算消耗的同时，提高了模型的性能。在公共和工业数据集上的实验结果表明，该算法的性能明显优于最先进的CTR模型。到目前为止，CAN已经部署在阿里巴巴展示广告系统中，在CTR和RPM上分别获得了12%和8%的平均提升

1 INTRODUCTION

随着机器学习模型的日益复杂，尤其是推荐系统中的模型，如何有效、高效地处理丰富的输入特征成为一个关键问题。对于工业环境下的在线推荐，模型经常被训练成亿级规模的二值化稀疏特征，并使用一次热编码[3，22]。每个特征也可以看作一个唯一的ID，它首先映射到一个低维嵌入，然后再输入到模型中。处理大规模输入的一种简单方法是将每个特征视为独立的。在此假设下，特征之间不存在连接，从而可以直接训练广义线性模型以基于特征的组合(例如，串联)来估计点击率。
然而，推荐系统中的“推荐项目”和“用户点击历史”等特征是高度相关的[21，22]，即对最终预测目标存在特征集合效应，如点击率，即特征动作。例如，在点击历史中有“泳衣”的女性用户很可能会因为“泳衣”和“护目镜”的共同作用而点击推荐的“护目镜”。特征共同作用可以被认为是对一组原始特征的子图进行建模。如果子图仅由两个特征组成，则对特征共同作用建模相当于对两个ID之间的边进行建模。共同作用的效果解释了一组功能如何与优化目标相关。如图1所示，功能部件协同操作显式地将功能部件对[A，B]连接到目标标签。
近年来，许多研究都致力于模型特征协同作用的研究。这些方法可以分为三类。基于聚集的方法[5，10，11，21，22]侧重于学习如何聚集用户的历史行为序列，以获得CTR预测的区别性表示。这些方法利用特征协同作用对历史行为序列中每个用户动作的权重进行建模。然后对加权的用户行为序列求和以表示用户兴趣。基于图的方法[6，9，15]把特征看作节点，这些节点以有向图或无向图的形式连接起来。在这种情况下，特征共同作用用作沿边缘传播信息的边缘权重。与基于聚集和基于图的方法将特征协同作用建模为权重不同，组合嵌入方法[12，14，19]通过显式组合特征嵌入来建模特征协同作用。
虽然以前的方法在不同程度上改善了CTR预测，但它们仍有一些不足之处。基于聚集的方法和基于图的方法仅通过边的权重来模拟特征的协同作用，但是边只用于信息聚集而不用于信息增强。另一方面，组合嵌入方法结合两个特征的嵌入来模拟特征的共同作用。例如，PNN[12]执行两个特征的内积或外积来增加输入。组合嵌入方法的一个主要缺点是嵌入同时负责表示学习和协同动作建模。表征学习和协同行为建模可能会相互冲突，从而限制性能

在本文中，我们强调了特征协作模型的重要性，并认为最先进的方法严重低估了协作的重要性。 由于有限的表达能力，这些方法无法捕获特征协作。 捕获特征协作以增加输入的重要性在于，它可以减少模型学习和捕获协作的难度。 假设存在一个对特征A和特征B的相互作用建模的最佳函数𝐹∗（𝐴，𝐵），则可以通过明确提供输入阶段中的𝐹∗（𝐴，stage）。

为了验证我们的假设，即目前的方法不能完全捕获特征协同作用，我们回顾了最先进的方法并设计了实验，以表明一种探索特征协同作用潜力的简单方法可以提高