CTR之行为序列建模用户兴趣：DIEN

我就算饿死也不做程序员

于 2024-03-12 21:05:33 发布

阅读量1k

点赞数 7

分类专栏：推荐系统文章标签：推荐系统推荐算法

本文链接：https://blog.csdn.net/sgyuanshi/article/details/136663215

版权

推荐系统专栏收录该内容

17 篇文章 2 订阅

订阅专栏

前言

在上一篇文章中 CTR之行为序列建模用户兴趣：DIN，开启了用户行为序列建模用户兴趣的篇章。DIN引入了Attention机制，对于不同的候选item，可以根据用户的历史行为序列，动态地学习用户的兴趣表征向量。但是，DIN没有考虑用户历史行为序列之间的相关性，也没考虑序列的先后顺序，难以捕获用户兴趣的变化。

概要

论文：Deep Interest Evolution Network for Click-Through Rate Prediction

链接：https://arxiv.org/pdf/1809.03672.pdf

在CTR模型中，通过用户的行为数据捕获用户的潜在兴趣是非常重要的。另外，考虑到外在环境和内在认知的变化，用户的兴趣是随着时间在动态演变的。

而许多CTR预估模型直接把用户行为(item)的表征当做兴趣，而缺少具体的行为下潜在兴趣的特定建模；少部分研究也会考虑到兴趣的变化趋势。

因此，在这篇论文中，阿里提出了一种新的模型 Deep Interest Evolution Network (DIEN)：

设计了一种兴趣提取网络（interest extractor layer），从历史行为序列来捕获用户的时间性兴趣（temporal interests），并且针对GRU的隐状态（hidden state）在兴趣表征上能力不足的问题，加入了一种辅助loss，它使用连续的行为来激励每一步隐状态的学习，提升隐状态表征潜在的兴趣的能力；
另外，还设计了兴趣演变网络（interest evolving layer），使用引入注意力机制的更新门控网络（AUGRU），增强相关的兴趣对目标item的影响，并克服了推理时的兴趣漂移问题。

DIEN的整体网络结构如下图：

DIEN网络结构

对比DIN的优势

用户的行为序列信息是非常有价值的，即能够捕获用户的兴趣演变过程在许多推荐场景下是十分有用的，比如电商推荐场景，用户前段时间在挑选手机，那么这段时间的行为序列会集中在手机这个品类的商品，但在他完成手机的购买之后，近期的兴趣可能就会变成篮球。

而DIN没有考虑序列信息，无法学习到这种时间性的兴趣趋势演变，那么DIN就会变成基于所有历史行为进行综合推荐，而不是像DIEN这种“针对下一次购买动机的推荐”。

基础模型

CTR的深度学习基础模型结构基本都是一致的，包括特征表征（feature representation）、模型结构（model structure）、损失函数（loss function），而模型结构由Embedding和MLP组成。

特征表征

通常的在线推荐系统，主要包括四类特征：用户属性(User Profile)、用户行为(User Behavior)、广告Ad(target item)和上下文(Context)，每一类都有多个特征域fields：

用户属性的fields一般有性别、年龄等
用户行为的fields则是用户点击过的goods id列表，当然也可以有其他的field，比如用户点击过的的shop_id、cat_id等
广告的fields一般有ad_id，shop_id等
上下文的fields则有时间等

每一个field的特征值可以编码为one-hot向量，如性别=男编码为[1,0]，而性别=女则编码为[0,1]。四类特征对应的不同fields的编码向量拼接起来分别用 $x_p,x_b,x_a,x_c$ 来表示。

在序列CTR模型中，用户行为的每一种field是多个行为组成的列表，而每一个行为对应一个one-hot向量：

$x_b=[b_1;b_2;b_T] \in \mathbb{R}^{K \times T}，b_t \in \{0,1\}^K$

$b_t$ 是第t个行为的one-hot向量，T是用户历史行为的个数，K则是用户可能点击到的商品的总量。

Embedding&MLP

Embedding.

Embedding是一种很广泛使用的将大规模离散特征转化为低维的稠密特征。在embedding layer中，每一个field会有一个对应的embedding矩阵。例如用户点击过的商品的embedding矩阵可以表示为：

$E_{goods}=[m_1;m_2;m_K] \in \mathbb{R}^{n_E \times K}$ ， $m_j \in \mathbb{R}^{n_E}$ 代表一个维度为 $n_E$ 的embedding向量。

再具体一点，对于用户行为特征 $b_t$ ，当 $b_t[j_t]=1$ 时，它对应的embedding向量便是 $m_{j_t}$ ，因此一个用户的行为的有序的embedding向量列表可以表示为:

$e_b=[m_{j_1};m_{j_2};...;m_{j_T}]$

同理， $e_a$ 代表上述四类中的广告这类特征中所有fields的拼接embedding向量。

Multilayer Perceptron（MLP）.

首先，这四类特征的embedding向量会分别进行pooling操作（concat、mean pooling或sum pooling等），然后再拼接起来。最后，拼接后的向量再进入MLP，得到最后的预测值。

损失函数

深度学习CTR模型最常用的损失函数是负negative log-likelihood（负对数似然）函数，使用target item的标签来监督整体的预测：

$x=[x_p,x_b,x_a,x_b] \in \mathcal{D}，\mathcal{D}$ 是数量为N的训练样本集合。 $\in \{0,1\}$ 表示用户是否点击了target item。 $p (x)$ 是整个网络的输出，表示用户点击target item的预估概率。

DIEN结构

如下图所示，DIEN由以下几部分组成：

所有类别特征通过Embedding Layer转换为embedding向量；
DIEN通过两个步骤来捕获兴趣演变：interest extractor layer（兴趣提取层）会通过历史行为序列来提取兴趣序列；interest evolving layer（兴趣演变层）来建模与target item相关的兴趣演变过程；
最后的兴趣表征（final interest）和广告、用户属性、上下文的embedding向量进行拼接；
拼接的向量输入到MLP，得到最后的预测值。

DIEN网络结构

DIEN-兴趣提取层

在电商系统中，用户的行为是潜在兴趣的载体，用户的兴趣会在产生一个行为之后发生改变。在这个兴趣提取层中，将会从用户行为序列中提取一系列兴趣状态（interest states）。

兴趣提取层

GRU建模

用户的点击行为包含丰富的信息，即使在短期内，行为序列长度也可能是很长的，比如两周内。综合了效率和效果，论文使用GRU来建模不同行为之间的关系，输入是根据发生时间排序的行为。GRU解决了RNN的梯度消失问题，并且比LSTM更快。GRU的数学表达式如下：

$\sigma$ 是sigmoid函数， $\circ$ 是element-wise product， $W^u,W^r,W^h \in \mathbb{R}^{n_H \times n_I}$ ， $U^z,U^r,U^h \in n_H \times n_H$
$n_H$ 是隐藏层维度， $n_I$ 是输入的维度， $i_t$ 是GRU的输入， $i_t=e_b[t]$ 是第t个行为的表征， $h_t$ 是第t个隐状态（hidden states）。

辅助损失

然而，捕获行为之间的关系的隐状态 $h_t$ 并不能高效地表征兴趣。因为target item的点击行为的驱动是final interest，即标签 $L_{target}$ ，仅仅是对final interest的预测的监督的ground truth，然而历史状态 $h_t(t<T)$ 并不能得到正确的监督。

众所周知，每一步的兴趣状态会直接引导连续的行为。所以，论文提出一种辅助loss：

使用下一个行为 $b_{t+1}$ 来监督兴趣状态当前 $h_t$ 的学习
除了使用真实的下一个行为来作为正样例，还进行负采样，从所有item中采样一个未被点击过的item来作为负样例

因此，存在N对行为序列，其对应的embedding如下：

$\{e_b^i,\hat{e}_b^i\} \in \mathcal{D}_{\mathcal{B}},i \in 1,2,...,N$

$e_b^i \in \mathbb{R}^{T \times n_E}$ 对应用户点击过的序列，而 $\hat{e}_b^i \in \mathbb{R}^{T \times n_E}$ 则对应负采样的序列。
$n_E$ 是embedding的维度大小，T是历史行为item的数量。
$e_b^i[t] \in \mathcal{G}$ 代表用户i点击的第t个item的embedding。