基础知识准备
强化学习入门简单实例 DQN
强化学习入门 第一讲 MDP
随笔分类 - 0084. 强化学习
中文翻译
强化学习RL应用在youtube推荐系统 2019谷歌论文解读
强化学习应用k推荐的问题
slate在文中的意思大概就是一次性推荐k个item给用户。由于是k个item的组合,动作空间是非常大的。
Choice Model
在本文的强化学习中使用到了choice model模型的技巧。简单来说choice model就是预估用户在推荐的动作A中选择某个item的概率。
Slate-Q的分解
因为动作空间过大,文中对Slate-Q进行了分解。
得到q的更新公式:
Slate优化
前面提到了Slate-Q的分解,以及分解后的q的TD更新方式。那么如何根据这个q值来获得推荐的动作A呢?作者提出三种方式:标准方式、top-k、贪心。
标准方式:
目标函数定义为,注意作者的P是由模型预测出来的。
top-k和贪心:
这两种启发式方法效果也不错。
伪代码