记一次由于样本分布不同导致推荐模型出问题的坑

背景：首页的“为你推荐”模块，使用用户的历史行为数据以及实时访问数据，推荐item。

过程：

1.由于一开始该模块没有记录曝光点击数据，因此使用列表页的曝光点击数据作为训练样本。正负样本的比例为1:50.

2.使用abtest，切一半流量走模型。上线一周后，发现uv，pv都有提升。

3.一个月后再次统计发现，最近两周uv，pv掉的厉害，甚至低于未用模型的效果。

4.问题排查，发现在两周前对“为你推荐”模块增加了曝光点击数据，然鹅，并没有业务字段区分是列表页还是“为你推荐”的数据，因此在选择样本时，把两部分数据一起放了进来。更要命的是，列表页的正负样本的比例为1:50，“为你推荐”模块的正负样本的比例为1:20，各个维度的特征分布也完全不同。训练出来的模型完全不能用！！！

5.解决方法a：增加业务字段区分不同的曝光数据（优秀）。

   解决方法b：在request id 上区分（产品想的方案，diss一下）。

感悟：前段时间抽空了解了迁移学习相关的内容，这两部分数据属于不同的domain，倒可以作为迁移学习的例子。