【详细原理】蒙特卡洛树搜索

单一状态蒙特卡洛规划：多臂赌博机

多臂赌博机问题（Multi-Armed Bandit）是强化学习中的经典问题，涉及在有限的时间内，从多台赌博机（即“臂”）中选择，以最大化累积奖励。单一状态蒙特卡洛规划是一种解决该问题的有效方法。

问题描述

假设有 $K$ 个臂的赌博机，每个臂 $k$ 的奖励分布未知。目标是在 $T$ 次尝试中，选择臂 $a_t$，使得累积奖励 $R={\sum }_{t=1}^T{r}_{a_t}$ 最大，其中 $r_{a_t}$ 是在时间步 $t$ 选择臂 $a_t$ 获得的奖励。

探索与利用的权衡

在多臂赌博机问题中，需要在探索（尝试不同的臂以了解其潜在奖励）和利用（选择当前估计最优的臂以获取高奖励）之间取得平衡。

如果有 $k$ 个赌博机，这 $k$ 个赌博机产生的操作序列为 $X_{i,1},X_{i,2},\dots$ （$i=1,2,\dots ,k$）。在时刻 $t=1,2,\dots$，选择第 $I_t$ 个赌博机后， 可得到奖赏 X I t , t X_{I_t,t} XI