强化学习策略：探索与利用（笔记）

---

多臂老虎机的问题介绍（multi-armed bandit，MA）

有一个拥有K根拉杆的老虎机，拉动每一根拉杆都对应一个关于奖励的概率分布。
尝试过程中，我们需要在“探索拉杆的获奖概率”和“根据经验选择奖励期望最高的拉杆”进行权衡。也就是exploration or exploition（探索可能或利用经验）。

---

奖励期望

对于每个动作a，定义其期望奖励Q(a) = Er~R(·|a)[r]。
则至少存在一根拉杆，它的期望奖励不小于其他任何拉杆，Q* = max{Q(a)}。
每次拉杆，都可以增量式更新期望。

ϵ-贪心算法

完全贪婪算法即在每一时刻采取期望奖励估值最大的动作（拉动拉杆），这就是纯粹的利用，而没有探索。

ϵ-贪婪算法设置 ϵ 为探索概率。每次以概率 1-ϵ 选择以往经验中期望奖励估值最大的那根拉杆（利用），以概率 ϵ 随机选择一根拉杆（探索）。
在探索中，ϵ会随时间衰减，但不会在有限步数内衰减为0。

---