深度模型（十七）：用户兴趣建模与多任务学习模型笔记

DIN

• 历史行为丰富的用户，兴趣是多种多样的，在面对不同的候选商品时，用户的兴趣可以被局部激活。
• DIN提出固定长度向量表达用户多种兴趣的局限性，并设计了全新的深度兴趣模型，引入了兴趣局部激活单元，自适应的从用户历史行为数据中学习与目标广告相关的用户兴趣的表示。DIN极大的提高了模型的表达能力，更好的捕捉用户兴趣的多种特征。
• DIN中用户兴趣表示为$${\mathbf{v}}_U(A)=f({\mathbf{e}}_A,{\mathbf{e}}_1,{\mathbf{e}}_2,...,{\mathbf{e}}_H)=\sum _{j=1}^{H}a({\mathbf{e}}_A,{\mathbf{e}}_j){\mathbf{e}}_j=\sum _{j=1}^H{w}_j{\mathbf{e}}_j$$，值得注意的是标准注意力机制中的限制${\sum }_{j=1}^H{w}_j=1$并没有被采用，${\mathbf{v}}_U(A)$的大小可以近似表示用户兴趣的强烈程度。
• DIN提出mini-batch感知的正则化，节省了深度模型正则化的计算量，避免参数过拟合。
• DIN提出数据自适应激活函数，通过考虑输入的分布扩展PReLU函数，提升模型效果。
• 试图采用LSTM建模建用户历史行为序列数据，但是没有提升。不同于NLP任务中遵循语法约束的文本序列，用户行为序列可能同时包含多种兴趣。用户兴趣点的跳转以及终止使用户行为序列看起来类似噪音。一个可能是方向是设计特殊的结构以序列的方式建模行为数据.

DIEN

• 最终的兴趣表示$h^{\prime }(T)=F({\mathbf{b}}_1,{\mathbf{b}}_2,...,{\mathbf{b}}_T)$经过了嵌入层、兴趣抽取层、兴趣演变层。
• 嵌入层将用户历史行为序列从稀疏的高维表示 { b i ∣ i ∈ [ 1 , T ] } \{\bold{b}_i | i\in[1, T]\} {bi​∣i∈[1,T]}映射到稠密的低纬表示 { e i ∣ i ∈ [ 1 , T ] } ] \{\bold{e}_i|i\in[1,T]\}] {ei​∣i∈[1,T]}]。不同于DIN中将用户历史行为表示${\mathbf{e}}_j$直接作为用户的多种兴趣表示，DIEN设计一个专门的兴趣抽取层，采用GRU网络建模用户历史行为间的依赖关系：

$${\mathbf{u}}_t=\sigma (W^u{\mathbf{i}}_t+U^u{\mathbf{h}}_{t-1}+{\mathbf{b}}^u)$$

$${\mathbf{r}}_t=\sigma (W^r{\mathbf{i}}_t+U^r{\mathbf{h}}_{t-1}+{\mathbf{b}}^r)$$

$${\tilde{\mathbf{h}}}_t=tanh(W^h{\mathbf{i}}_t+U^h{\mathbf{r}}_t\circ {\mathbf{h}}_{t-1}+{\mathbf{b}}^h)$$

$${\mathbf{h}}_t=(1-{\mathbf{u}}_t)\circ {\mathbf{h}}_{t-1}+{\mathbf{u}}_t\circ {\tilde{\mathbf{h}}}_t$$

• $GRU$的$t$时刻的隐状态${\mathbf{h}}_t$表示$t$时刻的兴趣，但是GRU的隐状态并非用于兴趣表示的，所以设计了一个辅助任务，用于帮助隐状态的学习：

$$Los{s}_{aux}=-\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^T(log\sigma ({\mathbf{h}}_t,{\mathbf{e}}_{t+1})+log(1-\sigma ({\mathbf{h}}_t,{\mathbf{e}}_{t+1}^{\prime })))$$

• 兴趣抽取层之后，得到了用户兴趣状态序列${\mathbf{h}}_1,{\mathbf{h}}_2,...,{\mathbf{h}}^T$.设计了用户兴趣演化网络层，建模用户兴趣中关于目标物品的兴趣的演化。

• 通过注意力机制，选取用户兴趣状态序列中与目标物品相关的兴趣，然后通过RNN网络建模兴趣的演化过程，得到最终的用户兴趣${\mathbf{h}}_T^{\prime }$.

文中尝试了三种注意力机制与GRU的组合方式，分别是：

• ${\mathbf{i}}_t^{\prime }=a({\mathbf{e}}_a,{\mathbf{h}}_t){\mathbf{h}}_t$
• ${\mathbf{h}}_t^{\prime }=(1-a({\mathbf{e}}_a,{\mathbf{h}}_t)){\mathbf{h}}_{t-1}^{\prime }+a({\mathbf{e}}_a,{\mathbf{h}}_t){\tilde{\mathbf{h}}}_t$
• ${\mathbf{u}}_t^{\prime }=a({\mathbf{e}}_a,{\mathbf{h}}_t^{\prime }){\mathbf{u}}_t^{\prime }$

DSIN

• 前面的模型忽略了一个事实，那就是用户行为序列是分会话的
• DSIN对用户历史行为的包含4层网络：
  • 会话分割层：将用户的历史行为划分为不同的会话
  • 会话兴趣抽取层：抽取会话内用户兴趣
  • 会话兴趣交互层：建模会话兴趣间的序列关系
  • 会话兴趣激活层：采用局部激活单元建模关于目标物品的兴趣

MMOE

• 很多研究工作表明多任务模型的效果非常依赖任务间的内在相关性
• 本论文采用合成数据的方式量化研究了任务相关性与多任务模型效果间的关系
• 然而现实中任务间的相关性很难被量化，建立在任务间某种相关性基础上的多任务学习方式，适用范围比较小
• MMOE并不会任务间的相关性做任何的假设，MMOE(多门混合专家模型)可表示为下列公式：

$$y_k=h^k(f^k(x))$$

$$f^k(x)=\sum _{i=1}^n{g}_i^k(x)f_i(x)$$

$$g^k(x)=softmax(W_{gk}x)$$

其中$y_k，k\in [1,K]$表示k个任务的拟合目标，$h^k(.)，k\in [1,K]$表示k个任务的独占网络，$f_i(.),i\in [1,n]$表示n个专家网络，$g^k(.)$表示每个任务对应的控制门，这里控制门采用的结构是对输入$x$做简单的转换后，通过softmax网络输出n个专家网络的分布。

PLE

PLE模型通过三步缓解多任务学习中的负向迁移问题

• 提出CGC（Customized Gate Control (CGC)）模型，显式底区分开共享专家和独占专家网络。CGC模型的结构可以表示下列公式：

$$y^k(x)=t^k(g^k(x))$$

$$g^k(x)=w^k(x)S^k(x)$$

$$w^k(x)=softmax(W_{gk}x)$$

$$S^k(x)=[E_{(k,1)}^T,...,E_{(k,m_k)}^T,E_{(s,1)}^T,...,E_{(s,m_s)}^T{]}^T$$

其中$S^k(x)$包含任务共享的专家网络和任务独占专家网络。这里采用的控制门的结构也是对输入$x$做一次变化后通过softmax网络输出共享专家和独占专家网络的分布。

• 通过多层控制门网络和渐进式分离路由扩展CGC模型
• 优化损失函数以更好的处理多任务联合训练的难点