乔治亚理工提出基于GAN的强化学习算法用于推荐系统

Generative Adversarial User Model for Reinforcement Learning Based Recommendation System

Xinshi Chen, Shuang Li, Hui Li, Shaohua Jiang, Yuan Qi, Le Song

Georgia Institute of Technology

http://proceedings.mlr.press/v97/chen19f/chen19f.pdf

强化学习用于推荐系统领域，相关的研究比较多，挑战性也比较多。这种场景中，线上的用户可以看做环境，奖励函数和环境的动态性都无法清晰定义，这就使得强化学习的应用比较具有挑战性。

这篇文章提出一种新型基于模型的强化学习框架，用于推荐系统，提出一种生成式对抗网络，来模拟用户行为的动态性，并且学习相应的奖励函数。

将这种用户模型用作模拟环境，作者们提出一种新的级联DQN算法，该算法可以得到组合推荐策略，可以高效处理大量候选商品。

在真实数据上的实验表明，这种生成式对抗用户模型相对其他模型可以更好地解释用户行为，基于该模型的强化学习策略用户可以得到一种更好的长期奖励，系统也可以具有更高的点击率。

强化学习用于推荐系统的挑战之一在于

挑战之二在于

这篇文章的主要贡献在于

推荐系统一些相关方法简介如下

场景描述如下

一些符号约定如下

强化学习用于推荐的图示如下

强化学习的几大关键元素简介如下

模型的数学表示如下

建模过程简介如下

模型整体图示如下

转化为GAN的思路以及数学表达方式如下

级联Q网络数学表达形式如下

级联Q网络用于推荐的算法伪代码如下

下面是数据集以及特征简介

指标以及数据集分割方式如下

几种方法的效果对比如下

不同的正则方法对GAN-LSTM的影响如下

几种方法的推荐效果对比如下

---

              我是分割线

---

您可能感兴趣

民宿平台airbnb是如何动态定价的

密歇根州立大学联合领英提出基于AutoML的Embedding框架AutoDim

密歇根州立大学联合字节提出AutoEmb用于流式推荐

深度学习在CTR预估中的应用

伊利诺伊大学联合中科院提出动态图协同过滤算法DGCF(已开源)

加州大学提出对偶注意力RNN用于时间序列预估

宾大微软联合提出深层强化学习框架用于新闻推荐

中科大等提出深度注意力网络DAM用于捆绑推荐

浙大中科院微软等提出分层注意力网络SHAN用于序列推荐系统

加州大学提出时间间隔自注意力模型用于序列推荐(已开源)

普渡大学提出轻量级特征交互算法deeplight大幅加速ctr预估在线服务(已开源)