强化学习推荐系统的模型结构与特点总结

嘿，记得给“机器学习与推荐算法”添加星标

---

提到强化学习，似乎总给人一种难以训练且难以落地的感觉。但是听大佬说，企业里强化学习推荐系统(RLRS)落地的例子其实已经有不少，不过一般都没有公开细节。现有公开且知名的RLRS技术分享有：

• 微软DRN新闻推荐系统[1]

• 美团“猜你喜欢”[2]

• 京东基于强化学习的page-wise推荐DeepPage

本文希望汇总这三个工作中的模型结构，试图从中总结出一些RLRS的通用性的规则或做法，并指出一些RLRS流程中存在的问题（个人拙见）。

强化学习的本质是让初始化的智能体(agent)在环境中探索，通过环境的反馈(reward)来不断纠正自己的行动策略(policy)，以期得到最大的reward。在推荐系统中，用户的需求会随时间动态的变化，RL agent不断探索的特性正好符合了推荐系统对动态性的要求，因此就把RL agent作为推荐系统。而agent不断探索如何满足用户的动态的需求，其实也是在不断尝试建模更长期的回报。这就引出了RLRS的两大优势：

• 满足用户的动态的需求

• 建模更长期的回报

当讨论强化学习算法的应用时，首先要明确马尔可夫决策过程(MDP)中的转移元组的各个元素的含义。在RLRS中：

动作(action)：推荐内容，如商品列表或者新闻列表

<