【论文】重排 PIER

Introduction

应用背景：

feed流推荐

挑战：

用户的点击行为会同时受到上文和下文影响；
· 贪心的做法只考虑前文无法考虑后文；
· list-wise的做法有Evaluation Before Reranking的问题（最优解不一定是input的list, 遍历所有permutation复杂度又太高）；
· 常用的还有two-stage的方法：permutation stage + evaluation stage, 前者需要尽可能多的包含最优组合，后者需要预估的尽可能准确。

提出的新方法PIER：

· 包括Fine-grained Permutation Selection Module (FPSM) + Omnidirectional
Context-aware Prediction Module (OCPM)两部分
· FPSM使用了SimHash的方法，根据用户的长时序行为模型，候选出topK的permutation from the full permutation based on user’s permutation-level interest
· OCPM部分：全方向的注意力和上下文意识机制，来更好的捕捉到上下文信息并预测listwise-CTR
· 最后，把这两部分合起来变成end-to-end的方式

结构

· 左边：输入都是permutation-level的，计算的是候选permutation和用户历史的permutation之间的相似度
We use the user’s historical click behaviors as target and then calculate the distance between it and all candidate permutations. If the distance is closer, we believe that the permutation can better match user’s interest thus can bring greater revenue.

· 右边 分三部分
·· OAU: Omnidirectional Attention Unit (OAU). 思想：一个item的各个特征会影响用户对他的选择，不同item的同一个特征之间的比较也会影响用户的选择，比如贵和便宜的item用户会倾向选便宜的。所以这一部分就是一个item特征的attention + Item之间的attention
·· TAU: Target Attention Unit
More relevant to the target, can provide more information for the model’s predict.
·· CPU: Context-aware Prediction Unit
a parameter-sharing MLP layer to predict the list-wise pCTR of each item in each permutation.
这一层的输入有四部分组成：representation of the 𝑘-th target permutation ；user’s permutation-level interest on the 𝑘-th target permutation w𝑘 ；the original predicted values (i.e., point-wise pCTRs of each item)；embedding matrix of the 𝑘-th target permutation M𝑝𝑘 .
（predicted value是哪来的？）

评估

离线

线上