多臂老虎机问题

多臂老虎机问题和mdp问题的区别

当然多臂老虎机问题是reward未知的MDP问题中最简单的一种，因为多臂问题不需要规划。也就是只需要估计action （选择哪个手臂）背后的reward的价值，这个action不会影响state的转移（因为任意手臂转一次，一个episode就结束了，我们就可以对选择的手臂背后的估值进行更新啦）。

如果这个问题难一点，就如我说的那个估值未知的背包问题，不仅需要探索物品的价值，还需要规划如何装满背包，这时候一个episode是装满一次背包。这个时候才算得上一个完全的增强学习问题。这个时候，如果想在一个episode内更新估值函数，就需要时间差分法啦，时间差分法就有大名鼎鼎的Q-learning，也就是最近大火的deep mind在使用的DQN的基础思想。