汤普森算法_什么是汤普森采样（Thompson sampling）？

最初步的是ε-Greedy Algorithm，以ε的概率，随机选一个arm， 1-ε的概率选择目前为止(第t次选择)最好的arm。更新Q(a)的公式如下。 其中Nt(a)是选择action - a的次数。

然后是改进的Upper Confidence Bounds。改进的目的是低效率的随机探索；增加探索尚未置信的、uncertainty比较高的arm。也就是说，探索尽可能有潜力的arm。

所以呢，UCB给了一个置信上限，

左边第一项是真实的Q(a), 第二项是到目前第t步的得到的Q，第三项是upper bound Ut(a)，它是Nt(a)的函数，Nt(a)是目前为止操作action-a的次数，根据大数定律，N越大，U应该越小。

所以在UCB里，按照如下公式选择方案action：

怎么得到Ut(a)呢， 根据Hoeffding’s Inequality，可知：

u=Ut(a)就是置信上限。如果我们要找到一个上限，使得真实的Q落在预估Q和U内的可能性最大，那么右边指数项就应该尽可能小，另右边的指数项等于p，那么我们可以推到出Ut(a) 的解析式表达：

模型迭代的目标是尽量降低p，假设

,