【2】MIAN论文阅读

j_qin

已于 2022-09-18 10:34:49 修改

阅读量215

点赞数

分类专栏：序列化点击率文章标签：论文阅读

于 2022-09-18 10:34:15 首次发布

本文链接：https://blog.csdn.net/j_qin/article/details/126897189

版权

序列化点击率专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本论文解决了【1】文章中提出的第2和第3个问题，从特征细粒度角度去设计模型

摘要

最近的文献很好地利用了用户的顺序行为来捕捉用户的兴趣，然而有三个局限性：1现有的方法大多利用对用户行为的关注，这并不总是适合于CTR预测，因为用户经常点击与任何历史行为无关的新产品。2在真实的场景中，有许多用户很久以前就进行过操作，但最近变得相对不活跃。因此，很难通过早期的行为来精确捕捉用户当前的偏好。3用户历史行为在不同特征子空间中的多重表征被忽略。

基于上述问题，作者提出了多交互注意力网络(MIAN)，去综合提取各种细粒度特征之间的潜在关系。MIAN包含一个多交互层(MultiInteractive Layer, MIL)，该层集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示形式，并同时利用细粒度的特定于用户的信息和上下文信息。此外，我们设计了一个全局交互模块(GIM)来学习高阶交互，并平衡多个特性的不同影响。

模型介绍

（1）Embedding Layer

与大多数序列模型一样，我们将原始数据分为四组特征：目标项、用户历史行为、用户画像和上下文信息，用户配置文件包含与用户相关的特征，例如用户id、国家等。目标项目是指具有相应特征的候选项目，如项目id、类别id、统计点击率等。用户历史行为是通过点击、购买或添加到购物车的用户交互项目的列表，其中列表中的每一项都具有与目标项相同的特征字段。上下文是一组特征，包括但不限于时间、匹配类型、触发id等。注意用户历史行为和目标项中的项共享相同的嵌入矩阵。

如下图论文介绍， $S$ 是特征总数， $x_{*}^{i}$ 代表第 $i$ 个特征的特征表示。如果第 $i$ 个特征是类别，则 $x_{*}^{i}$ 是one-hot向量。如果第 $i$ 个特征是数字，则 $x_{*}^{i}$ 是标量。由于类别特征的特征表示稀疏且高维，因此将其投影到低维空间中。

（2） Multi-Interactive Layer

MIL以一种有效的方式为候选项和其他信息之间的关系建模，具体来说，IBIM通过序列行为捕捉用户兴趣偏好的演变。特定于用户和上下文信息中的细粒度特性可以通过与IUIM和ICIM中的候选项的交互生成更多的特性。

IBIM：首先介绍下用户历史序列是有效的，然后提出了项目-行为交互模块，它主要包含一个修改的Transformer单元和一个注意机制。好处有以下几点：1我们采用了Pre-LN Transformer，其收敛速度比原始Transformer层更快、更稳定。2与之前使用rnn相比，增加的参数量比较少。

首先，将用户历史行为Pre-LN Transformer，可以认为是transformer的改进版本，得到了[b,sl,emb]维度对图中一系列的[h1,h2...hT]。然后，V=concat(ei,[h1,h2...hT])，ei是item嵌入向量维度为[b,emb]，拼接后得到V=[b,sl,emb]维度。最后，将V和ei放入注意力网络中。

IUIM：候选项可能与特定于用户的信息相关联，但是由于用户的偏好可能在用户的顺序行为中缺失，因此需要通过用户特定的信息来弥补。以往的大多数顺序方法都只关注于挖掘历史行为，这导致了一个共同的局限性，即在缺乏顺序数据的情况下，它们的性能不是很好。所以提出了项目-用户交互模块。

ICIM：如前所述，大多数CTR预测任务的研究很少关注候选项与细粒度上下文信息之间的相互作用。而天气、季节等语境信息中的细粒度特征则与候选条目的活跃度密切相关。例如，“t恤”的销量在“夏天”猛增，而在“冬天”下降。因此，将候选项和CTR预测的细粒度上下文信息之间的交互结合起来是有价值的。

IUIM部分和ICIM部分是相同的，这里比较简单，相对于IBIM少了一层Pre-LN Transformer。首先，将ei和用户特征/上下文特征信息拼接，得到V=[b,sl,emb]维度。最后，将V和ei放入注意力网络中。

GIM：在这个阶段，我们得到了两种信息，一个是来自所有特征嵌入之后的向量，一个是来自以上三种的交互模块。深度交叉[32]网络的有效性表明了低阶特征和高阶特征相互作用的重要性。为了继承这个思想，如图2 (d)所示，全局交互模块被设计为显式捕获原始特征(即低阶)和生成的交互特征(即高阶)之间的关系。此外，我们利用注意机制提取不同交互模块和原始嵌入的重要性。

首先，将所有的信息拼接一起rg，然后将所有特征的组合作为全局交互模块的输入，该模块利用全局注意单元提取输入特征的不同部分之间的关系。