策略产品工作的一些方法论
其中涉及准确率、召回率、diff影响面、G:S:B(good:same:bad)的解释;
Diff评估
在一个复杂的策略体系中,各种策略会互相作用,共同影响最终效果,比如搜索、推荐。
在迭代其中某条策略时,除了评估策略本身的召回和准确,还要关注策略变化前后,用户视角直接感受到的产品效果变化是怎样的。
输出结论:diff影响面、good:same:bad
Diff影响面:策略调整前后,用户感知发生变化的比例,通常要小于策略影响面(两类情况分数增加5分,用户感知没变:每一条结果都包含这个特征、结果之间的差距大于5)
good:same:bad(简称g:s:d):随机抽样有变化的case,站在用户体验角度评估效果是变好了、无变化还是变差了(可以分为3/5/7档)
参考:
learn2rank好文
http://xtf615.com/2018/12/25/learning-to-rank/
https://lumingdong.cn/learning-to-rank-in-recommendation-system.html
这两篇博文的一些重点要点,后续再总结一下。