淘宝详情页分发推荐算法总结：用户即时兴趣强化

最新推荐文章于 2024-07-29 16:27:45 发布

2401_85117752

最新推荐文章于 2024-07-29 16:27:45 发布

阅读量921

点赞数 7

文章标签：推荐算法算法机器学习

本文链接：https://blog.csdn.net/2401_85117752/article/details/139847620

版权

场景介绍：

技术探索

▐ 算法问题定义——即时兴趣强化

进入详情页是用户主动发起的行为，因而用户对于当前页面的主商品有着较强的兴趣聚焦。主商品的信息能够帮助我们快速地定位用户的即时兴趣，这对于推荐算法来说是至关重要的。虽然现在有很多方法将行为序列的末位替代即时兴趣，或是使用模型挖掘即时兴趣，但这些方法均是在不确定事件中进行推理，没有详情页天然带有主商品这样的强意图信息。基于此，我们的工作将从推荐技术的不同方面，将这部分信息建模并加以强化，以期使得详情页分发场景能够结合场景特点，尽可能地满足用户的即时需求。

▐ 召回

背景

随着深度学习技术在多个领域的普及以及向量检索技术的兴起，一系列基于类似思想的深度学习召回技术相继涌现。Youtube在2016年提出了DNN在推荐系统做召回的思路，它将用户历史行为和用户画像信息相结合，极大地提升了匹配范围的个性化和丰富性。我们的工作基于同组师兄的召回工作《SDM: 基于用户行为序列建模的深度召回》，《User-based Sequential Deep Match》也是这一思路的一脉相承。SDM能够很好地建模用户兴趣的动态变化，并且能够综合长短期行为在不同维度进行用户表征，从而更好的使用低维向量表达用户和商品，最终借助大规模向量检索技术完成深度召回。SDM上线较base（多路i2i召回merge）ipv指标提升了2.80%。较SDM模型，CIDM模型IPV提升4.69%。在此基础上，为了契合详情页分发场景的特点，我们丰富并挖掘了主商品相关信息，并将其作为即时兴趣对召回模型进行结构改良。

模型——CIDM(Current Intention Reinforce Deep Match )

为了能够让模型SDM能够将主商品信息catch到并与用户行为产生交互，我们设计了如下的模型结构，其中trigger即为详情页中的主商品，我们从几个方面对它进行表征及强化：

Trigger-Layer：启发于论文1，对主商品显式建模：除SDM中建模用户长、短期偏好之外，引入用户即时偏好层将主商品特征与长短期偏好融合作为用户最终表达；
Trigger-Attention: 即将原模型中使用的self-attention改为由trigger作为目标的target-attention；
Trigger-Lstm：借鉴论文2中的建模思路，我们将lstm的结构中引入了trigger信息，并添加trigger-gate让lstm倾向于记住更多关于主商品的内容；
Trigger-filter-sequence：实验发现，使用主商品的叶子类目，一级类目过滤得到的序列作为原序列的补充进行召回建模，能够增加收益，故在数据源中添加了cate-filter-seq以及cat1-filter-sequece。

其中前两个点都是比较显而易见的，这里就不再赘述，我们将三四两个创新点详细阐述。

论文2中论证了添加时间门能够更好地捕捉用户的短期和长期兴趣，基于这个结论，我们尝试设计一个trigger-gate用于在模型捕获序列特征中引入trigger信息的影响。我们尝试了多种结构变体，比较work的两种方式（如图）:

将trigger信息作为记忆门的一路输入，即通过sigmoid函数后与之前想要更新的信息相乘；
平行于第一个记忆门，添加一个新的即时兴趣门，其输入为细胞输入以及当前主商品，和记忆门结构一致。

这样的方式能够将主商品的信息保留的更充分。

第一种方法，仅是对记忆门进行了修改：

第二种方法，新加了一个即时兴趣门:

这两个实验在离线hr指标分别增长+1.07%. 1.37%，最优版本线上指标ipv+1.1%。

出于我们自己的实验结论："使用主商品的叶子类目和一级类目过滤得到的序列作为原始序列的补充，作为模型输入能够提升预测准度“。这说明，主商品的结构信息是具有明显的效益的，以它为条件能够对序列样本产生正向约束。究其根本，原始序列中一些和当前主商品相关性较小的样本被过滤掉了，这相当于对数据进行去噪处理。沿着这个思路，联想到自编码机的主要应用为数据降噪与特征降维，故考虑采用基于AE结构的模型对序列进行处理，更多的，由于我们是定向去噪（即剔除与主商品不相关的行为），我们使用变分自编码机（VAE），借主商品信息在隐变量空间对序列表达进行约束，以确保隐层能较好抽象序列数据的特点。

变分自编码机是具有对偶结构（包括编码器和解码器）联合训练的系列模型，它借鉴变分推断的思路，在隐变量空间进行个性化定制，比较契合我们即使兴趣建模的需求。首先我们有一批数据样本，其似然分布可以表示为，最大化其对数似然时后验概率分布是不可知的，因而VAEs用自定义分布来近似真实的后验概率计算，使用KL散度作为两个分布的相似程度的度量。整体的优化函数可以表示为：

具体推导可以参见论文5。其中第一项作为使假设的后验分布和先验分布尽量接近，第二项为重构损失，保证自编码结构整体的稳定性。其中，先验分布是我们自定义的，这里想要将主商品的信息融入其中，因而我们假设，即使用主商品的表示作为高斯分布的均值，采样batch的二阶矩作为高斯分布的方差带入其中。因此，模型的优化函数变为：

启发于论文3、4, 我们将网络结构设计为如下形式，使用主商品的特征向量作为mu和sigma引入到变分自编码网络中，规范隐空间中序列特征的表达，并将学习得到的序列隐空间变量seq_hid作为用户的强意图序列表达trigger_emb，和长短期偏好融合。

这实验在离线hr指标增长+2.23%，线上未测试。

效果

较SDM模型，CIDM模型线上效果IPV提升4.69%。

▐ 精排

背景

精排模型基于DIN(Deep Interest Networks)进行探索与发展，我们的想法是在序列信息基础之上融入主商品更多的信息。序列信息挖掘和主商品信息强化其实是我们场景两个需求的外化，主商品信息强化能够很好地抓住用户即时意图，满足用户即时的聚焦需求；而序列信息挖掘是基于当前意图的延伸，能够一定程度上对意图进行发散，使推荐结果不会产生过于集中而带来体验疲劳。当然这两方面需要权衡，让模型识别其中“聚”，“散”的时机与程度。在此基础上，我们进行了1、挖掘主商品更多的语义信息；2、强化主商品信息对于序列特征抽取的指引与影响。

精排模型——DTIN(Deep Trigger-based Interest Network)

首先，我们希望能够挖掘主商品更多的语义信息，这一部分，我们将主商品（trigger）相关的特征和待打分商品（candidate）对齐，然后将这部分特征直接拼到模型的wide侧，让模型提升对于主商品表征的敏感度。

其次，由于DIN的motivation是引入注意力机制来更精准的捕获用户的兴趣点，作为比待打分商品更强的用户兴趣点体现，我们设计了一个双attention结构来强化这部分信息。如图所示，首先，将trigger和candidate商品特征concat，传入第一层attention结构中，学得第一层加权向量。这部分权值融合了trigger和candidate的信息，它可以被看作基于主商品及待打分商品交叉的用户兴趣提取。然后，仅使用主商品信息作为查询query传入第二层attention结构中，学得第二层加权向量，它可以被看作仅基于即时兴趣的延伸兴趣捕获。之后这两个权重向量按位相乘作为序列加权向量。模型结构设计这部分经历了大量的探索实验，如果有兴趣欢迎大家一起来讨论，这里只呈现我们实验中效果最佳版本。

效果

较DIN模型，DTIN模型IPV提升9.34%, 对应离线实验auc提升4.6%，gauc提升5.8%。

▐ 粗排

动机

粗排模型为的是解决推荐系统应用于工业界的特殊问题，在召回集合较大时，精排模型因复杂度太高而无法保证打分效率。因而粗排模型应运而生。由于详情页分发场景需要从全网亿级商品中进行商品召回，且召回阶段使用了多种召回方式的组合（包括i2i, 向量召回等）。这使得召回数量级较大，而且多路召回存在交叉使得匹配特征不在同一尺度上，这给后续的精排模型带来了较大的压力。基于此，我们开发了桥接召回和精排两部分的粗排模块，它的目标是对召回结果进行初筛，不仅需要兼顾效率与精度，也需要具有兼容多尺度召回方式的能力。基于我们的场景特点，在粗排初筛阶段进行了基于主商品的即时意图的建模。