yetti_eternal的博客

原创 2020-12-17

UCB尖峰的问题在Sutton和Barto著作《强化学习》第2.7节中，对于10臂赌博机来说，UCB方法根据下式选择动作At=arg max⁡a[Qt(a)+cln⁡tNt(a)]A_t = \argmax_a\left[Q_t(a)+c\sqrt{\frac{\ln{t}}{N_t(a)}}\right]At​=aargmax​[Qt​(a)+cNt​(a)lnt​​]该节的练习2.8提出了UCB尖峰出现在第11次动作时。如下图所示：然而我在仿真时却无法获得这一结果，如下图所示：这个尖峰出现