推荐系统1-基本概念

说明：笔记记录来自B站大佬的视频
大佬主页：https://space.bilibili.com/1369507485?spm_id_from=333.788.b_765f7570696e666f.1
up主：shusenwang

1. 小红书推荐系统转化流程：

---

2. 消费指标

• 点击率越高：推荐越精准
• f(笔记长度)：归一化函数
• 推荐越符合用户兴趣，点赞收藏转发会越多
• 多样性：不能一味追求用户段时间内的兴趣

---

3. 衡量推荐系统好坏：北极星指标（最重要的指标）

a. 用户规模
DAU：一天内不管登陆几次小红书，都算贡献一个DA U
MAU：一个月内不管登陆几次小红书，都算贡献一个MAU
b. 消费
推荐做的好：用户越上瘾，刷的时间就越久，刷的内容越多
c. 发布
希望激励用户发布内容，让优质内容池变大 ，优质内容池是核心竞争力
激励发布：冷启动

---

4. 推荐系统实验流程

离线实验–小流量ab测试–全流量上线

a. 离线实验：
收集历史数据，在历史数据上做训练，测试
算法没有部署到产品中，没有跟用户交互
b. 小流量ab测试
把用户随机分成实验组和对照组
实验组用新策略
对照组用旧策略
对比

---

5. 推荐系统链路

推荐系统的目标：从物品的数据库中选出几十个物品展示给用户
小红书物品：笔记，一共有几亿笔记

**a. 召回：**从笔记数据库中快速取回一些笔记
常见召回通道：协同过滤，双塔模型，关注的作者等等
小红书有几十个召回通道，每个召回通道召回一些笔记，做去重和过滤
过滤：排除用户不喜欢的作者/笔记/话题

**b.排序：要用机器学习模型预估用户对笔记的兴趣，保留分数最高的笔记 **

**粗排：**用比较简单的模型，快速给几千条笔记打分，保留分数最高的几百篇笔记，做筛选
精排：用更多的特征，计算量更大的模型给几百篇笔记打分，打出来的笔记分数更可靠
粗排和精排一起用的原因：精排计算量很大，一起用可以比较好的平衡计算量和准确性
做完精排后的笔记，都有一个分数，表示用户对这个笔记的兴趣
按照精排的分数做排序，推荐给用户，但此时会存在一些不足，这时候要做重排

对一篇笔记的打分模型：如上，神经网络对用户行为的预估

**重排：**考虑多样性，从几百篇笔记中选出几十篇，然后用规则把内容相似的笔记打散，重排后的结果就是推荐给用户的笔记

---