小红书视频推荐学习笔记一：推荐系统基础

推荐系统基础

相关资料

github：https://github.com/wangshusen/RecommenderSystem
视频b站：https://www.bilibili.com/video/BV1PS4y1A7za/

推荐系统基本概念

小红书的转化流程

短期消费指标

阅读完成率最后需要乘以$f(笔记长度)$，是一个归一化函数，使得对长笔记更加公平。
消费指标是短期指标，如果一味关注短期指标，推荐用户感兴趣的内容，消费指标上涨，但是用户很快会失去兴趣，不再活跃。如果关注多样性，可以增加用户粘性,让用户更活跃。

衡量推荐系统的根本指标

推荐系统的实验流程

推荐系统的链路

召回

粗排和精排

重排

链路总结

• 召回：用多条通道，召回几千篇笔记
• 粗排：用小规模神经网络，给几千篇笔记打分，选取出分数最高的几百篇
• 精排：用大规模神经网络，给几百篇笔记打分
• 重排：主要考虑多样性，做多样性抽样、规则打散、插入广告和运营的笔记

推荐系统的AB测试

随机分桶

推全：指的是流量扩大到百分之百，对所有用户都使用。实际使用的时候留下10%的作为Holdout，推广到90%的用户。

分层实验

主要是解决流量不够用的问题。

主要原则：同层互斥，不同层正交，这样可以同时开很多实验

例子：

Holdout机制

用于衡量整个部门的业务指标收益

实验推全、反转实验

实验推全

如果重排中有个实验，使用了一个实验组一个对照组两个桶，使用了20%的用户，在小流量测试的时候发现效果正向，则可以推全。可以将两个桶关掉，给其他实验使用。推全的时候新开一层，新策略推广到90%的用户。

反转实验

尽快推全有好处（如点击、交互等指标立刻受到新策略影响），把实验保留很久也有好处（如留存指标有滞后性，需要长期观测），这就是一对矛盾，实验中常用反转实验解决这一问题。

AB测试基础知识

AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用(它是药物测试的最高标准)。自2000年谷歌工程师将这一方法应用在互联网产品以来，AB测试越来越普及，已逐渐成为衡量互联网产品运营精细度的重要体现。

AB测试是一种科学的评估手段，具备概率统计学理论的支撑。这里我简单解释一下原因，概率论中有一个中心极限定理，意思是独立同分布的随机变量的和服从正态分布。对于AB测试，我们比较的是两组样本的平均表现，AB测试保证A、B两组某个因素不一样(这个就是我们要验证的优化点)，A、B两组其他很多未知影响因素一样，当A、B两组样本足够多时(这时不同样本的同一因素是独立同分布的随机变量)，这两组样本相同因素产生的效果是满足同一正态分布的，因此可以认为对要验证的变量的作用是相互抵消的，这样待验证因素(即我们的控制变量)的影响就可以比较了，因此我们就可以通过AB测试实验来验证优化是否有效。