MCTS 蒙特卡洛树搜索

已于 2022-06-08 10:15:28 修改
阅读量403 收藏
点赞数
于 2022-06-08 10:13:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Michelle_Enn/article/details/125179157
版权

行为树 蒙特卡洛搜索 机器人任务规划 UCB1策略 局部最优解
关键词由CSDN通过智能技术生成

《Behavior Tree Learning for Robotic Task Planning through Monte Carlo DAG Search over a Formal Grammar》生啃基于蒙特卡洛树搜索的行为树论文…

应用

1、搜索空间巨大的游戏（围棋：361!）
2、黑盒优化

思想

搜索资源/算力倾斜 Tilt of search resources

流程在这里插入图片描述### 步骤

在这里插入图片描述

selection：选择UCB1更大的值（权衡探索与利用）
expansion
simulation/rollout：随机模拟（防止得到的只是局部最优解）
backpropagation：更新搜索树

UCB1(Si) =\overline{Vi} + c\sqrt{logN/ni}, c=2

具体实例

手推…待补充

iiHeys
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
蒙特卡洛树搜索（MCTS）算法
ljyt2的博客
10-24 6万+
论文原文下载地址：mastering the game of go without human knowledge Deepmind 官网的介绍：AlphaGo Zero: Learning from scratch一、蒙特卡洛树搜索（MCTS）算法MCTS算法是一种决策算法，每次模拟（simulation）分为4步： 1. Tree traversal: UCB1(Si)=Vi¯¯
Monte Carlo Rollout 蒙特卡洛展开
YHKKun的博客
03-17 478
在MCTS中，Rollout通常发生在模拟的后期，当搜索树中的一个节点被访问，但其子节点尚未被完全探索或评估时。为了节省计算资源并快速得到一个对该节点可能价值的估计，算法会执行一个Rollout：从该节点开始，按照某个。过于简单的策略可能会导致价值估计的偏差，而过于复杂的策略则可能会减慢模拟的速度。在实际应用中，通常会选择一种在计算效率和准确性之间取得平衡的策略。虽然单个Rollout可能不准确，但通过执行大量的Rollouts并对结果进行平均，可以得到一个相当准确的价值估计。快速但可能不是最优的策略。
AlphaGo学习笔记（一）------蒙特卡洛（一）
weixin_40999066的博客
03-19 1225
蒙特卡洛 注：本人在初学阶段，根据所读的文献并查阅资料有了自己的理解，难免有一些理解错误之处，希望大家不吝赐教，批评指正 ：） 一.蒙特卡洛模拟： 蒙特卡洛模拟是一种简单的基于模拟的搜索算法，用于从根状态s0评估候选招法。也就是每在一个盘面下，采用快速走子策略(rollout policy)，随机落子，将所有的可能都全部模拟出来，不必考虑这招棋的能对自己产生多大利益，因为围棋本身也很难构造局...
强化学习笔记
wangmengmeng99的博客
03-24 3114
在随机环境中只有数量有限的样本会被观察到，或者模型通过泛化能力较差的函数来近似的，又或者仅仅因为环境发生改变且新的动态特性尚未被观察到，模型都可能不正确，从而导致规划过程中得到次优的策略。某些情况下，规划计算出的次优策略会使我们很快发现并修正模型错误。这种情况往往比较“乐观”，模型就会倾向于预测出比真实可能情况更大的收益或更好的状态转移，规划得出的策略会尝试开发这些机会，这样智能体就很快发现这些机会根本不存在，于是感知到模型的错误，继而修正错误。 探索和开发之间的矛盾。在“规划”语境中，“试探”意味着尝试
【AlphaGo】AlphaGo背后的力量：蒙特卡洛树搜索入门指南
产业智能官
03-28 9837
选自int8 Blog机器之心编译我们都知道 DeepMind 的围棋程序 AlphaGo，以及它超越人类的强大能力，也经常会听到「蒙特卡洛树搜索」这个概念。事实上，蒙特卡洛树搜索是在完美信息博弈场景中进行决策的一种通用技术，除游戏之外，它还在很多现实世界的应用中有着广阔前景。本文中，我们会以 AlphaGo 为例子，对这一方法进行详细介绍。长久以来，学术世界一直认为计算机在围棋这个复杂游戏上达到
MCTS-Gomoku-agent:使用蒙特卡洛树搜索（MCTS）的AI Gomoku代理
03-27
**蒙特卡洛树搜索（MCTS）** 蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）是一种在决策过程中用于探索随机过程的算法。它特别适用于解决如棋类游戏等需要大量搜索和评估可能行动的问题。MCTS的核心思想是通过...
围棋AI，基于蒙特卡洛树搜索(MCTS)算法 Java版.zip
06-07
在这个项目中，我们重点关注的是基于蒙特卡洛树搜索（MCTS）算法的实现，这是一种在围棋和其他棋类游戏中广泛应用的高效搜索方法。MCTS是概率搜索策略，通过模拟随机游戏来评估不同决策的可能结果，并选择最优路径。...
MCTS:CS4246 项目（德州扑克中的蒙特卡洛树搜索）
07-13
【标题】：“MCTS：CS4246 项目（德州扑克中的蒙特卡洛树搜索）” 这个项目是关于使用蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）技术在德州扑克游戏中开发智能机器人。MCTS是一种在不确定环境中进行决策的...
强化学习笔记（七）：蒙特卡洛树搜索（MonteCarlo Tree Search）
LuoMin2523的博客
06-22 4435
如果说多臂赌博机问题被看做单步强化学习任务（只用一步决策玩哪个老虎机，然后就收到回报），那么蒙特卡洛树搜索可以看做是解决多步强化学习任务的工具。树是一种天然的用来刻画或者存储多步决策的数据结构。正如所有的动态规划问题可以被转化为图搜索，而所有的线性规划问题可以被转化为二分图一样。至于蒙特卡洛树搜索，实际上可以分为两步[1]： 利用树结构来重新表达决策问题 利用蒙特卡洛方法来进行搜索 MCTS对游戏进行多次模拟，然后尝试基于模拟结果对最佳下一步进行预测。MCTS的四个步骤，即选择、扩展、模拟...
蒙特卡洛树搜索_蒙特卡洛树搜索完全入门指南
weixin_39930671的博客
12-16 2123
这是码路漫漫的第16篇文章上篇写的博弈树入门，收获了不错的阅读量和赞赏，甚至看到了我的算法启蒙恩师在朋友圈转发了我的文章。超受鼓舞！兑现承诺，写一篇蒙特卡洛树搜索的入门文章。关于蒙特卡洛树搜索，国内真的很难找到特别好的入门资料，很多还是错的，本文是前段时间为了实现自己的一个 AI，在阅读了几十篇国内外文章之后根据自己的理解整合写的，主要参照 INT8 的一篇英语博文Monte Ca...
异构网络化汽车电子系统中多DAG离线任务调度
01-15
公平性和通信开销已成为影响调度性能的主要瓶颈，首先在任务优先级排序阶段，提出基于通信开销权值的轮转调度的公平排序标准；在处理器选择阶段，提出在插入法的基础上将任务分配到具有最小选择值的选择标准；综合上述2个阶段，提出以降低调度长度和减少通信开销为目标的多 DAG 离线公平任务调度(MDOFTS,multiple DAGs off-line and fairness task scheduling)算法。异构网络化汽车电子系统是一个典型的混合关键级嵌入式系统，既要确保实时性又要降低调度长度，提出了以满足安全关键DAG的多DAG离线优先级任务调度(MDOPTS,multiple DAGs off-line and Priority task scheduling)算法。综合MDOFTS和MDOPTS，提出多DAG离线自适应任务调度(MDOATS,multiple DAGs off-line and adaptive task scheduling)算法，在满足实时性的基础上提高调度性能。实例分析和实验结果表明，提出的算法在调度长度、通信开销、不公平性、最差响应时间和实时性上都优于其他算法。
AlphaGo的制胜秘诀：蒙特卡洛树搜索初学者指南
AI科技大本营
03-31 1万+
编译 | reason_W出品 | AI科技大本营（公众号ID：rgznai100）长久以来，计算机在围棋领域不可能达到人类专家的水平一直是学术界的主流观点。围棋，被认为是人工智能的“圣杯”——一个我们原本希望在未来十年努力攻克的里程碑。二十年前，“深蓝”就已经在国际象棋上超越了人类，二十年过去了，计算机却依然无法在围棋这一项目上战胜人类。围棋的运算的复杂性一度让人们将其称为“数值混沌”。甚至有
蒙特卡罗树搜索+深度学习 -- AlphaGo原版论文阅读笔记
ACM 【程式=演算法+資料結構】@蜡笔小轩V
03-23 3万+
原版论文是《Mastering the game of Go with deep neural networks and tree search》,有时间的还是建议读一读，没时间的可以看看我这篇笔记凑活一下。网上有一些分析AlphaGo的文章，但最经典的肯定还是原文，还是踏踏实实搞懂AlphaGo的基本原理我们再来吹牛逼吧。需要的基础是机器学习基本理论+蒙特卡罗树搜索（MCTS）。
蒙特卡洛树搜索 MCTS 入门
qq_41033011的博客
10-13 1万+
引言   你如果是第一次听到蒙特卡洛，可能会认为这是一个人名。那么你就大错特错，蒙特卡洛不是一个人名，而是一个地方，还一个赌场名！！！但是这不是我们的重点。   我们今天的主题就是入门蒙特卡洛树搜索，这个算法我个人觉得非常神奇也非常有意思。因为前几年 AlphaGo 就是借助蒙塔卡洛树搜索以及基于深度学习的的策略价值网络击败了人类冠军，赢得了胜利。而今天我们的主角就是蒙特卡洛树搜索它究竟是怎么实现的？它的原理？以及会举出一个例子来告诉大家整个算法的工作流程。 一、什么是 MCTS？   蒙特卡洛树搜索是一
【python】蒙特卡洛树搜索（MCTS）简单实现
盐可
12-24 2万+
过程包括以下四步： 选择 Selection：从根节点 R 开始，递归选择最优的子节点（后面会解释）直到达到叶子节点 L。 扩展 Expansion：如果 L 不是一个终止节点（也就是，不会导致博弈游戏终止）那么就创建一个或者更多的字子节点，选择其中一个 C。 模拟 Simulation：从 C 开始运行一个模拟的输出，直到博弈游戏结束。 反向传播 Backpropagation：用模拟的结果输...
蒙特卡洛树搜索（新手教程）
热门推荐
Sual
11-01 5万+
  本篇博客为《Monte Carlo Tree Search – beginners guide》的翻译，水平有限，有兴趣的朋友可以直接阅读原文。   很长一段时间以来，学术界普遍认为，机器在围棋领域达到人类大师的专业等级是不现实的。这被视为AI的一个“圣杯”，至少是在未来十年中仍难以抵达的一个里程碑。20年多前，Deep Blue在国际象棋中击败了国际象棋世界冠军Garry Kasparov...
(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度
qq_44962949的博客
07-17 220
【代码】(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度。
AtCoder Beginner Contest 363
最新发布
2301_80105412的博客
07-21 384
AtCoder Beginner Contest 363 ABCDE
排序思想-快排
m0_58257626的博客
07-17 421
快速排序核心思想就是每次在当前区间 [left, right] 中选择出一个元素 nums[p]，然后将区间内所有大于它的元素和所有小于它的元素都放到其两侧【具体放在哪一侧取决于是升序还是降序】，然后再递归去处理两侧区间。将大于切分值的元素都放到左侧，小于切分值得元素都放到右侧。因此我们可以使用双指针分别从两端往中间搜索，分别找到左侧小于切分值的元素和右侧大于切分值的元素，交换之，直到两个指针相遇。
基于蒙特卡洛树搜索(mcts)算法 java版
10-02
基于蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS) 算法是一种用于决策问题的启发式搜索算法。MCTS 在不完全信息和高复杂度的问题中具有很好的效果。下面将介绍 MCTS 算法的 Java 版实现。 MCTS 算法的主要流程如下： 1. 创建一个根节点，表示当前的游戏状态。 2. 重复以下步骤，直到时间或迭代次数达到上限： a. 选择最有价值的子节点。从根节点开始，递归地选择子节点，直到找到一个未完全探索的节点。 b. 扩展选择的节点。根据游戏规则，生成该节点所有的合法子节点，并将其加入到树中。 c. 随机模拟选择节点的子节点。从扩展的子节点中随机选择一个，并进行模拟。直到游戏结束，得到一个模拟结果。 d. 更新选择节点和其祖先节点的价值。根据模拟结果，更新选择节点及其祖先节点的胜利次数和访问次数。 3. 选择最优的子节点作为下一步的决策。 在 MCTS 的实现中，主要涉及以下几个关键的类和方法： 1. Node 类：表示搜索树的节点，包含节点的游戏状态、访问次数和胜利次数等信息。 2. Selection 方法：通过选择最有价值的子节点来进行节点的选择。 3. Expansion 方法：扩展选中的节点，生成其所有合法的子节点。 4. Simulation 方法：随机模拟选中节点的子节点进行游戏，得到模拟结果。 5. Backpropagation 方法：根据模拟结果，更新节点和其祖先节点的访问次数和胜利次数。 6. BestChild 方法：选择最优的子节点作为下一步的决策。 通过以上关键步骤和方法的结合，可以实现 MCTS 算法的 Java 版本。使用该版本，可以在不完全信息和高复杂度问题上进行决策。例如，在棋类游戏中，MCTS 算法可以从当前局面搜索出最有希望的下一步，并进行决策。 总结而言，基于蒙特卡洛树搜索 (MCTS) 算法的 Java 版实现，通过节点的选择、扩展、模拟和回溯等关键步骤，可以用于解决复杂的决策问题。这种算法在游戏、人工智能等领域具有广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值