Reinforcement-Learning 多臂老虎机问题

多臂老虎机(Multi-armed bandit)问题

在RL中关于exploration和exploitation的经典平衡问题
在最初的关于该问题的学习中，关于此问题的问题描述总是不是很清楚，在这里记一下。具体采用的方法还没太看懂，之后再加。

问题描述

多臂老虎机是一个有多个拉杆的赌博机，每一个拉杆的真实中奖几率不同。要求做到如何在有限的游戏次数内选择不同的拉杆，得到最多的收益。
假设老虎机有3个拉杆，每个拉杆都试几次，记录下每个拉杆的中奖几率（exploration），然后把之后的机会都用在中奖概率最大的拉杆上（exploitation）。这算是一个粗糙版本的平衡策略。
然而在于每个拉杆都进行无穷次得到的预估中奖概率一定是比几次实验得到的是更加准确的。如果在exploration过程中，过早的进行exploitation，坚持在自己认为中奖概率高的拉杆上投入很多的游戏次数，可能实际上该拉杆并不是收益最高的拉杆。所以应该去坚持自己的意见，还是去尝试别的拉杆进行exploration。如何分配Explore和Exploit的次数的问题，就是著名的探索-利用困境。