KDD 2021 | 一种使用真负样本的在线延迟反馈建模

▐  摘要

电商场景的多目标模型预估，包括加购率，转化率，进店，时长等等。在展示广告领域，多目标体现了广告主对自己真实诉求的表达，因此，多目标模型既是技术项目，也有强烈的业务属性。广告排序系统，从上到下包含产品设计，机制策略，精排，粗排，召回，索引等多个模块。整个系统能否从上游业务承接到下游底层实现，理解和传达广告主的目标诉求是重中之重，多目标模型面临很多与 CTR 预估不同的问题。

样本反馈延迟性： 购买行为发生在点击后，且不确定间隔时间。这一点在大促期间更明显。这导致我们训练模型的时候负样本包含两种不确定情况，即真负样本（用户不购买）和假负样本（用户会在未来的某个时刻购买）。如何既利用这部分负样本，又降低这部分样本带来的不确定性是我们亟待解决的问题。样本延迟建模是多目标模型区别于 CTR 模型的最主要的子方向之一。

购买行为稀疏性： 相比于点击用户行为，加购、购买的用户行为数据准确而稀疏。数据量不充足将直接影响复杂模型的学习效果。那么如何利用稀疏数据设计模型，高效掌握用户兴趣是研究重点。因此，我们有兴趣分层建模研究子方向，专门解决这类问题。

多目标任务关联性： 加购和购买具有较强的相关性，比如先加购后购买。区别于点击行为，一个用户的加购、购买、进店、关注等行为会有明显的目标相关性。业界也有ESMM，MMOE，PLE等模型。这个方向专注于构建统一模型，既利用多任务之间的关联性，又能够避免优化方向上的冲突，同时还能解耦统一建模带来的迭代瓶颈问题。

本文着重介绍样本延迟建模，这个方向解决购买行为晚于点击导致的延迟反馈问题。2020年6月起，我们通过多任务延迟建模结构，使天级 CVR 模型可以识别和利用近期尚未转化的样本；并建立考虑延迟建模问题的实时模型方法（ODL）。该项工作论文已发表在KDD 2021《Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling》 [1]。本文将围绕天级和实时两个角度为大家分享，欢迎交流讨论。

论文下载：https://arxiv.org/abs/2104.14121

▐  1 精排天级样本延迟建模（Offline Defer）

1.1 背景

在转化数据稀疏的情况下，即使淘系的数据量，也并非所有场景都可以通过实时ODL模型获得收益，甚至效果还会更差。因此，天级转化样本延迟建模方案，是多目标模型优化的重要方向。

场景发生广告点击后，用户7天之内发生购买，都会归因到这条广告。由于购买行为的发生晚于点击很多，因此，天级模型训练的时候，最近几天的 label 很可能不准确。针对这个问题，常用做法是：