dien论文翻译

论文地址：https://arxiv.org/pdf/1809.03672.pdf

基于所有这些观察，我们提出了深度兴趣进化网络（DIEN）来提高点击率。 DIEN中有两个关键模块，一种是从历史行为中提取潜在的短暂兴趣，另一个用于建模兴趣变化形态。适当的兴趣表示是兴趣演化模型的基石。在兴趣提取层，DIEN 选择 GRU (Chung et al. 2014) 来模拟行为之间的依赖关系。遵循兴趣直接导致连续行为的原则，我们提出辅助损失，它使用下一个行为来监督学习当前隐藏状态。我们称这些隐藏状态作为利益状态的额外监督。这些额外的监督信息有助于捕捉更多的语义，用于兴趣表示，并使 GRU 的隐藏状态更代表兴趣。此外，用户兴趣是多样化，导致兴趣漂移现象：用户的相邻访问的意图可能非常不同，并且一个用户的行为可能取决于很久之前的行为，每个兴趣都有自己的发展轨迹。同时，一个用户在不同目标上的点击动作会受不同兴趣的影响。在兴趣演化层，我们对兴趣演化轨迹进行建模。基于兴趣序列从兴趣提取层获得，我们设计了 GRU 注意更新门（AUGRU）。使用兴趣状态和目标item来计算相关性，AUGRU 加强了和当前item相关的历史行为的影响，同时削弱了gru模型输出的这种顺序性预测

1：我们关注电子商务系统中的兴趣演化现象，并提出了一种新的网络结构来模拟兴趣演化过程。 模型为兴趣演变导致更具表现力的兴趣表示和更精确的点击率预测

2：与直接将行为视为兴趣不同，我们专门设计了兴趣提取层。出于GRU 的隐藏状态不能很好的标识用户兴趣，我们提出了一种辅助损失。 辅助损失使用连续行为来监督每一步隐藏状态的学习。 这使得隐藏状态表现力足以代表潜在的兴趣。

3：我们新颖地设计了兴趣演化层，其中 GPU 注意力更新门（AUGRU）加强了相关兴趣对目标item的影响，并克服了历史兴趣这种时间性

在许多应用领域中，用户-项目交互可以随着时间的推移被记录下来。最近的多项研究表明，这些信息可用于建立更富有的个人用户模型并发现其他行为模式。在推荐系统，TDSSM（Song、Elkahky 和 ​​He
2016）联合优化长短期用户兴趣，提升推荐质量；DREAM（于等。 2016) 使用循环神经网络 (RNN) 的结构来研究
每个用户和商品购买历史的全局顺序行为。 He 和 McAuley (2016) 构建了视觉感知推荐系统，更紧密地匹配用户和社区不断变化的兴趣。张等人。 (2014) 衡量用户的相似性基于用户的兴趣序列，提高协同过滤推荐的性能。帕萨纳等。 (2018) 通过使用改进原生广告点击率预测
循环网络的大规模事件嵌入和注意力输出。 ATRank (Zhou et al. 2018a) 使用基于注意力的顺序框架来模拟异构行为。与序列无关的方法相比，这些方法可以显着提高预测精度

然而，这些传统的基于 RNN 的模型有一些问题。 一方面，他们中的大多数人都将隐藏状态直接作为兴趣表达，而这些隐藏状态缺乏对兴趣的特殊监督。 另一方面，现有的大多数基于 RNN模型依次且平等地处理相邻行为之间的所有依赖关系。 众所周知，并非所有用户的行为严格依赖于每个相邻的行为。每个用户都有不同的兴趣，每个兴趣都有自己的发展轨迹。 对于任何item，这些模型只能获得一个固定的兴趣演化轨迹，因此这些模型受RNN模型本身带来的兴趣顺序影响。

Deep Interest Evolution Network

与主动搜索不同，在很多电子商务平台如在线展示广告中，用户不展示他们的意图，因此可以捕捉用户的兴趣，他们的动态对于点击率预测很重要。 DIEN 致力于捕获用户兴趣并模拟兴趣演变过程。
如图 1 所示，DIEN 由几个部分组成。
首先，所有类别的特征都通过嵌入层进行转换。 接下来，DIEN 采取两个步骤来吸引兴趣，进化：兴趣提取层基于行为序列提取兴趣序列； 兴趣演化层模拟与目标项目相关的兴趣演化过程。
然后是最终兴趣的表示和广告、用户资料、上下文的嵌入向量
连接在一起。 连接的向量被送入 MLP 以进行最终预测。 在本节的剩余部分，我们将介绍两个核心模块DIEN 的详细介绍。

Interest Extractor Layer

在电子商务系统中，用户行为可以表达出用户的兴趣，而且兴趣会
随着用户采取一种行为后发生变化。 在兴趣提取层，我们从用户行为中提取一种embedding表达，代表用户的兴趣

电子商务系统中用户的点击行为很丰富，即使在很短的时间内，历史行为序列的长度也可能很长。 为了在效率和性能之间取得平衡，我们将 GRU 用于建模行为之间的依赖关系，其中输入GRU 的行为按发生时间排序。 GRU克服了RNN的梯度消失问题，速度更快比 LSTM（Hochreiter 和 Schmidhuber 1997），它适用于电子商务系统。 GRU的过程列举如下：

对gru不熟悉的可以看这篇文章：人人都能看懂的GRU - 知乎

其中r(t)是重置门，先把上一个cell输出的数据h(t-1)进行重置，再和当前cell的输入i(t)进行拼接，经过tanh激活函数，将数据缩放到[-1,1]之间，表示对数据的格式化；(1-u(t))是遗忘门，对上一个cell输出的数据h(t-1)遗忘掉一部分数据

然而，仅捕获行为之间依赖关系的隐藏状态 ht，不能有效地表示兴趣,因为训练过程中，L(target) 中使用的标签仅包含监督最终兴趣，而历史状态 ht (t < T) 无法获得适当的监督。
在实际生活中，每一步的兴趣状态有可能直接导致连续的行为。 所以我们提出辅助损失，即使用下一个行为来监督兴趣状态的学习。 除了使用真实的下一个行为外，我们还使用从项目集中采样的负实例，来一起计算损失

第一个损失是"gru"作为基础cell的“双向rnn”的 T -1 个输出，和下一个真实行为，计算得到的损失；第二个是把真实行为换成随机负采样行为，计算的损失

Interest Evolving Layer

由于外部环境和内部认知的共同影响，用户兴趣随着时间而变化。以衣服为例，随着大众趋势和用户自己的喜好变化，用户对衣服的偏好会发生变化。用户对衣服兴趣的演变过程将直接决定候选衣服的CTR预测。对演化过程建模的优点如下：

• 兴趣演化模块可以提供历史兴趣中和目标相关的部分；
• 最好通过兴趣演变趋势来预测目标的ctr

值得注意的是，兴趣在进化过程中表现出两个特征：

• 由于兴趣的多样性，兴趣可能会漂移。 具体表现为一段时间内需要书，在另一个时间需要衣服

• 虽然兴趣之间可能会相互影响，但每个兴趣都有它自己的进化过程，我们只关注与目标项目相关的演变过程。

在第一阶段，在辅助损失的帮助下，我们获得了兴趣序列的表达表示。 通过分析兴趣演化的特征，我们结合注意机制的局部激活能力和从 GRU 到模型兴趣演化的顺序学习能力。 GRU每一步的局部激活可以增强相对兴趣效应，减弱来自兴趣漂移干扰

和前面的gru公式一样，我们这边使用 i(t)`代表这层gru的输入(也就是前面兴趣提取层的输出 h(t))，h(t)`是兴趣进化层的输出，h(T)`是最终的兴趣状态

Attention公式如下

其中e(a)是item的多个类别特征concat起来形成的向量，a(t)可以代表广告e(a)、h(t)之前的相关性

接下来介绍3种GRU

AIGRU

如果直接把a(t)和h(t)相乘，那些非常不相干的h(t)对最终的贡献几乎是0，这种模型不是很好，因为即使是0，也会影响到GRU的隐状态

AGRU

使用a(t)来代替更新门，直接将gru公式中的最后一步换成

AUGRU

虽然AGRU中直接用a(t)影响了最终的隐状态，但是a(t)是一个值而不是一个向量，和向量相乘的话，没有考虑到不同纬度上的影响，我们先将a(t)和更新门u(t)`相乘，后面和AGRU一样，这样就解决了这个问题

gien中就用的第三种