【学习笔记】强化学习 Gradient Bandit Algorithm

Reference：

Reinforcement Learning: An Introduction 2nd Edition

Gradient Bandit Algorithm

在第二章中，我们讨论了估计action values的方法，并用这样的估计来选择动作。这是一个很好但并不唯一的方法。下面我们考虑对每个动作学习一个数值的偏好(preference)，记作。preference的值越大，对应的动作越容易被选择到，但preference并不能用其所获得的奖励来解释。只有一个动作对于另一个动作的相对preference是重要的：对所有动作的preference加1000不会改变每个动作被选中的概率，这样的性质是由soft-max分布(Gibbs或Bolzmann分布)决定的：

这里我们用表示动作在时刻被选中的概率。每个动作初始的preference均相同(e.g., , for all )，这样每个动作被选中的概率也相同。

这里有一个基于随机梯度提升(stochastic gradient ascent)思想的学习算法。在每一步选择动作并获得奖励后，每个动作的preference通过下面的公式更新：

                   （2.12）

这里