用老虎机小例子理解Multi-armed Bandit Learning

1. 问题背景

一个人带着一些钱走进一家赌场, 换到了一些游戏币, 有好几个不同的老虎机, 只有他一个人可以用这几台老虎机. 这几台老虎机都各不相同, 即赢钱的概率不同. 但是这个概率是事先未知的.

2. 解决思路

我们有一些资源(即游戏币). 我们可以用一部分游戏币来做试验, 得到每台老虎机的一些信息. 然后基于这个信息, 再做出"最好的"决定. 即问题中存在exploration-exploitation dilemma的问题, 即用多少资源做试验, 用多少剩下的资源给"最好的"老虎机.

3. 一些方法

(1) ɛ-first: 假设ɛ=10%

首先, 用10%的游戏币做试验, 实验结束后, 选择最好的那一台老虎机, 把剩下的90%的游戏币都给这台"最好的"老虎机.

(2) ɛ-greedy: ɛ = 10%

这个方法中, 没有先试验后执行的先后顺序. 10%用来试验, 90%用来执行. 每次执行时选择的老虎机是都是到目前为止的试验中"最好的"那一个, 即, 试验是一直在进行中, 试验得到的最好的老虎机可能会在变化. 这样给了我们一个可以改变的机会.