线下AUC提升,线上AB测试无提升
1. 判断线上线下特征提取是否一致?
2. 数据是否泄露,简言之,倒因为果,某特征跟目标有很高相关性?
3. 是否需要一味地添加特征?
4. 线上线下样本空间分布是否一致?比如:推荐系统中,训练数据集合,仅包含有点击行为的用户,过滤了无点击行为的用户,这样的过滤是否合理,是否通过随机负采样保留仅负样本用户数据,通过AB测试检验
5. 训练数据中,高活跃user bias 是否去除,比如高活跃用户每天产生100个点击行为,而低活跃度用户,每天仅1-2个点击行为,这样,这样为处理的数据,训练出来的模型受高活跃用户影响较大,实际需要,降采样高活跃用户行为数据样本,使不同活跃用户样本基本一致 -- Youtube早期论文做法
6. 理解业务,负样本一定是负样本么?举例:某电影推荐场景,每次推荐6部电影,用户可能点击其中某一部,而,因为时间等因素,用户看完一部之后,不再看其它电影,而其他电影一定是负样本么? 这时,负样本应该怎么处理呢?这个值得考虑
未完待续。。