论文解析：Deep Reinforcement Learning for List-wise Recommendations

论文解析：Deep Reinforcement Learning for List-wise Recommendations

简介

京东在强化学习推荐系统方面的工作

背景

推荐系统存在的问题：

• 无法通过与用户的交互建模用户的动态兴趣变化
• 最大化单次ranking的最大收益，未必是长期的全局最大收益
• ranking过程忽略了item之间的关联

方法

强化学习

强化学习基于马尔科夫决策过程(MDP)，一个马尔科夫决策过程用一个五元组(S, A, P, R, gamma)表示.

• S: 状态空间定义为用户的浏览历史，即推荐之前，用户点击或购买的最新的N个物品
• A: 动作空间定义为要推荐给用户的状态列表
• P: 状态转移概率
• R: 给出推荐列表后根据用户的反馈（点击、购买）得到的奖励
• gamma: 折扣因子

仿真器

由于强化学习是对系统-用户交互状态转移的动态建模，因此无法像监督学习一样使用静态数据集训练，而是需要一个交互式仿真环境。搭建推荐系统仿真器，是本文一个很大的贡献。
本文用历史上的session日志信息构建仿真器的memory，将用户的行为转化为强化学习环境需要的(s, a) -> r对。
有了一定数量的memory之后，对于memory中没有出现的那些(s, a)对的r值，根据计算该(s, a)对与memory中的相