强化学习的探索和利用

一． 简述

在和环境不断交互的过程中，智能体在不同的状态下不停地探索，获取不同的动作的反馈。探索（Exploration）能够帮助智能体通过不断试验获得反馈，利用（Exploitation）是指利用已有的反馈信息选择最好的动作。因此如何平衡探索和利用是智能体在交互中不断学习的重要问题。

二． 什么是探索和利用?

场景假设：假设我们开了一家叫Surprise Me的饭馆，客人来了不用点餐，而是用算法来决定该做哪道菜。具体过程为：

（1）客人 user = 1,...,T 依次到达饭馆。

（2）给客人推荐一道菜，客人接受则留下吃饭（Reward=1），拒绝则离开（Reward=0）。

（3）记录选择接受的客人总数 total_reward。

为了由浅入深地解决这个问题，我们先做以下三个假设。

（a）同一道菜，有时候会做得好吃一些（概率＝p），有时候会难吃一些

（概率 = 1−p），但是并不知道概率p是多少，只能通过多次观测进行统计。

（b）不考虑个人口味的差异，即当菜做得好吃时，客人一定会留下

（Reward=1）；当菜不好吃时，客人一定会离开（Reward=0）。

（c）菜好吃或不好吃只有客人说的算，饭馆是事先不知道的。

探索阶段：通过多次观测推断出一道菜做得好吃的概率。如果一道菜已经推荐了k遍（获取了k次反馈），就可以算出菜做得好吃的概率

如果推荐的次数足够多，k足够大，那么 会趋近于真实的菜做得好吃的概率p。

利用阶段：已知所有的菜做得好吃的概率，决定该如何推荐？如果每道菜都被推荐了很多遍，就可以计算出每道菜做得好吃的概率 ，于是只需推荐 最大的那道菜。

探索和利用的平衡是一个经久不衰的问题。一是，探索的代价是要不停地拿用户去试菜，影响客户的体验，但有助于更加准确的估计每道菜好吃的概率；二是，利用会基于目前的估计拿出“最好的”菜来服务客户，但目前的估计可能是不准的（因为试吃的人还不够多）。<