召回模型评估以及训练数据的采样

多路召回中，如何评估单路模型的召回能力？

1. 看这一路召回的物品中曝光出去的物品在这一次曝光物品的占比：模型的分发能力。

2.端内总体的数据指标：ctr,cvr

误区：仅仅看单路召回的指标，如单路的ctr，为什么错误：可能这一路把其他路的分发挤掉了。（例外情况,先上A路，然后A路下掉，上B路。这时可以拿A路和B路对比。或者进行AB测试。）

不同召回角色不同，要根据目标进行评判。比如负责多样性的，如果多样性好，只要CTR没有掉，就可以。CTR上来更好。

采样：如果线上比例1：9，很多地方一般不用1：9，为什么不用1：9， 保持样本分布一致，不好嘛？ 答： 1. 我们目的是要把好的挑选出来，所以比例上稍调整一些，使正样本更容易选择出来（负样本太多，学习不出来）。2. 线上分布也是会变化的，使用采样，可以追求一定的泛化性。。而是用1：4或者1：5（不同场景有1：4--1：20，一般取1：4--1：10以内）。采样的比例一般都是拍脑袋的。

采样的比例一般1：4到1：20之间，一般以1：10以内比较好。
原因：比如广告，点击比可能是1：100，如果采样按照1：100，则很难学习到正样本的规律。

采样一般采多少条好？ 采用一般不是按照条采样的，是按照时间采样的。

采样的时候，一般是从曝光出去的物品进行采样。也可以从全库进行采样。

采样的时候，应该按照类别分层进行采样。曝光多的采样几条，曝光少的采样几条，可以抑制长尾问题。

随机采样， 按照一定的比例采样， 只保留点击前的负例（后面的可能没看到）