京东搜索商品隐式建模的理解

1 搜索广告CTR预估模型
在线广告，比如搜索广告都是搜索引擎，电商平台或者社交媒体平台重要的商业模式之一。
上图就是一个典型的搜索广告模式，用户在产生一个query之后，会经过粗排，精排，重排阶段。每个阶段关注的侧重点也不相同，同时数据量级也是从上亿级别到最后的个十级别给用户展示。
2 CTR预估模型的发展

• 目前整个行业来说，CTR模型的发展分两个方面，一个是在做特征优化，一个是在做模型结构优化；特征优化包括静态特征到动态特征，多模态特征，全域特征的引入；模型结构方面包括单模型到多模型的发展，不同领域模型的发展等。

3 上下文特征的应用

• 说起上下文特征，第一个想起来的就是用户的点击行为序列，这个特征在推荐中发挥着非常重要的作用，可以获取用户的动态兴趣分布；
• 在下面这篇论文中作者提出了一种新的上下文特征，作者因为点击行为序列可能会出现一些问题，比如冷启动问题，新用户点击行为序列不友好；行为序列过程的问题，会出现序列噪声的问题。
• 基于此作者提出一种商品隐式的上下文特征，去解决上面提出的问题，论文链接如下：

论文链接

4 商品隐式建模

4.1 模型结构
模型结构分为三个部分，分别是：

• select模块： 对候选的item做曝光概率建模
• CIE模块： 将用户感知的所有Item做建模构成上下文特征
• Backbone模块： 作为CTR预估模型的特征

4.2 select模块

该模块是根据用户粗排之后的所有Item去做建模，通过MLP的网络模型，最终得分每个Item的曝光概率；粗排的结果可能有上百个，那会对每个Item有最终的一个曝光权重；
4.3 CIE模块

该模块是本论文的最核心的模块，根据每个候选的Item，根据用户的感知去建模用户的上下文向量，这个模块的模型结构是典型的transformer结构。

• transformer的encoder： 每个候选Item会有一个embedding，同时每个embedding会根据上一个select模块预估的曝光权重做一个相乘，作为本阶段的输入；
• transformer的decoder： 本阶段是targer-attention模式，每个候选Item会根据target的结果动态调整每个候选Item的权重，最终得到一个用户的上下文Embedding。

4.4 Backbone模块

这个阶段是CTR的预估模型阶段，它可以加上一阶段建模好的上下文向量，也可以加入用户特征，query特征，商品特征等信息作为CTR预估模型的特征做建模，最终给用户做结果推荐。

4.5 损失函数
损失函数分两个部分： 点击率损失， select模块曝光概率损失

4.6 效果

论文的效果展示如上图，第一列是用户的query，第二列是用户点击的商品，第三列是CIE模块对粗排商品按照权重的排序结果，从左到右权重由高到低，我们可以看出前三个权重最高的商品不管从品牌，价格还是规格上都跟用户点击过的商品比较相似，而后三个明显效果就不好了。