蒙特卡洛树搜索算法(MCTS)

蒙特卡洛树搜索(MCTS)

参考网址：https://zhuanlan.zhihu.com/p/30458774

定义

Monte Carlo Tree Search， 是一类树搜索算法的统称。

• 蒙特卡洛树搜索是一种基于树数据结构、能在搜索空间巨大仍然比较有效的启发式搜索算法
• MCTS是一种逼近纳什均衡的搜索策略。

应用场景

• 搜索空间巨大

• zero-sum、fully information、determinism、sequential、discrete

• 第二点即：场景能分出输赢、游戏信息完全公开、每一个操作结果没有随机因素、操作按顺序执行、没有操作是一种连续值

• 只能解决Combinatorial Game的问题

四大阶段

Selection、Expansion、Simulation_和_Backpropagation（选择、扩展、模拟、回溯）

理论基础

一、Game Theory（博弈论）

1. 纳什均衡点

定义

minmax算法最终达到的平衡点

2. minmax算法

图1 minmax算法示意图

应用

在搜索树中，每次轮到黑棋走时，走对黑棋最有利的；轮到白棋走时，走对黑棋最不利的。

二、Black Box Optimization（黑盒优化）

无法得知场景内部的函数或模型结果，只能通过输入和输出对算法进行优化。

示例

进化算法、贝叶斯优化、MCTS

三、UCB算法基础

与蒙特卡洛搜索算法关系说明

• UCB: 指UCB公式 （Upper Confidence Bound），公式为：

V i + C l n N n i V_i + C \sqrt{\frac{lnN}{n_i}} V