Reference:
Reinforcement Learning: An Introduction 2nd Edition
Gradient Bandit Algorithm
在第二章中,我们讨论了估计action values的方法,并用这样的估计来选择动作。这是一个很好但并不唯一的方法。下面我们考虑对每个动作学习一个数值的偏好(preference),记作。preference的值越大,对应的动作越容易被选择到,但preference并不能用其所获得的奖励来解释。只有一个动作对于另一个动作的相对preference是重要的:对所有动作的preference加1000不会改变每个动作被选中的概率,这样的性质是由soft-max分布(Gibbs或Bolzmann分布)决定的:
这里我们用表示动作
在
时刻被选中的概率。每个动作初始的preference均相同(e.g.,
, for all
),这样每个动作被选中的概率也相同。
这里有一个基于随机梯度提升(stochastic gradient ascent)思想的学习算法。在每一步选择动作并获得奖励
后,每个动作的preference通过下面的公式更新:
(2.12)
这里