DRL（八）—— Monte Carlo Tree Search (MCTS)

最新推荐文章于 2024-01-14 10:05:26 发布
最新推荐文章于 2024-01-14 10:05:26 发布
阅读量307 收藏 3
点赞数
分类专栏： DRL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41796745/article/details/106123568
版权
本文介绍了离散环境下的一种规划方法——Monte Carlo Tree Search (MCTS)，它通过树状结构进行搜索。MCTS的选择策略结合了高奖励动作和未探索动作，并通过特定的分数公式来平衡这两者。文章还探讨了MCTS如何在不同状态下选择动作，并提到了相关论文供进一步研究。
摘要由CSDN通过智能技术生成

一个比较有意思的在离散情况下的 planning 方式。

之所以叫做tree search，我觉得就是因为这种方法就是像树杈一样从根部到树叶不断地搜索。就像下图这样：
在这里插入图片描述
要注意的是：

  • 每个节点的含义，并不是每个state，而是采取某个特定的action后到达的state，这个state可以是不同的。比如说，从 s 1 s_1 s1​开始，我们如果执行action a 1   =   0 a_1~=~0 a1​ = 0，如图所示就会到达左边的 s 2 s_2 s2​，只要执行action
最低0.47元/天 解锁文章
Mia_compiling
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
蒙特卡洛树搜索(MCTS)原理与代码实战案例讲解
禅与计算机程序设计艺术
06-23 871
1. 背景介绍 蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）是一种基于蒙特卡洛方法的搜索算法，最初被应用于围棋等棋类游戏的人工智能领域。MCTS算法通过模拟大量的随机游戏来评估每个可行的行动，并根据评估结果选择最优的行动。MCTS算法在人工智能领域中的应用已经非常广泛，例如在AlphaGo中就使用了MCTS算法。
Deep-reinforcement-learning-multiplex-hexadiagonal-monte-carlo-tree-search
03-29
在这个项目“Deep-reinforcement-learning-multiplex-hexadiagonal-monte-carlo-tree-search”中，重点在于应用DRL解决多元六边形棋盘游戏的策略问题，通过蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）来优化...
深度增强学习（DRL）漫谈 - 从DQN到AlphaGo
世事难料，保持低调
10-10 2万+
深度增强学习（Deep reinforcement learning, DRL）是DeepMind（后被谷歌收购）近几近来重点研究且发扬光大的机器学习算法框架。两篇Nature上的奠基性论文（DQN和AlphaGo）使得DRL这一深度学习（Deep learning, DL）和增强学习（Reinforcement learning, RL）的交叉方向变得炙手可热。再加上多个影响较大的benc...
蒙特卡洛树搜索 Monte Carlo Tree Search
x3464的博客
10-08 3897
什么是 MCTS？ 全称 Monte Carlo Tree Search，是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性。 MCTS 受到快速关注主要是由计算机围棋程序的成功以及其潜在的在众多难题上的应用所致。超越博弈游戏本身，MCTS 理论上可以被用在以 {状态 state，行动 action} 对定义和用模拟进行预测输出结果的任何领域。 基本算法 基本的 MCTS 算法非常简单：根据模拟的输出结果，按照节点构造搜索树
蒙特卡洛树搜索（Monte Carlo Tree Search）揭秘
Nichkhun的博客
11-14 3758
MCTS能够非常聪明的去探索胜率较高的路径，和dfs这类暴力穷举算法比起来，可以花费较少的运算资源，就能达到不错的效果，尤其对于围棋这类每步棋都有200种左右选择的游戏，使用MCTS的效果非常显著。但与此同时也要指出，MCTS并不能保证一定找到最佳路径和着法。AlphaGo和李世石比赛就输了一盘，说明不一定能百分百找到最优解。不过论整体胜率，AlphaGo和AlphaGoZero已远远超过了人类。既然围棋的变化(10的360次方)比宇宙中的原子还多，比起dfs或minimax等算法，使用MCTS还是非常有
机器学习算法之蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）
DeepViewInsight的博客
09-17 4885
蒙特卡洛树搜索，通常简称为MCTS，是一种用于决策制定的算法。它在众多领域中都有广泛应用，包括人工智能、博弈论和自动规划等。MCTS的主要优势之一是它可以在没有先验知识的情况下，有效地搜索大规模的决策空间，因此被广泛应用于复杂的游戏和规划问题中。MCTS的核心思想是通过随机模拟来估计每个可选行动的价值，从而帮助我们选择下一步的最佳行动。它通过建立一颗搜索树来组织这些模拟，并使用统计信息来引导搜索过程，以便更有可能找到最佳的决策。
Monte Carlo Tree Search (MCTS) 蒙特·卡罗尔树搜索
Steve Wang's blog
11-23 2424
Monte Carlo Tree Search 为什么要学习MCTS 一部分原因是过去12年AI最大的成就莫过于Alpha Go，一个超越任何人类的围棋玩家 引入基于模型的RL思想和规划(planning)的好处 Introudction Model-Based Reinforcement Learning 前面的博文：从经验中直接学习价值函数或者策略 这篇博文：从经验中直接学习模型(Tra...
蒙特卡洛树搜索（MCTS）
qq_42981705的博客
04-18 2263
蒙特卡洛树搜索
超微X9DRL-IF主板加入NVME BIOS
10-08
超微X9DRL-IF主板加入NVME BIOS
超微x10drl-i说明书MNL-1566.pdf
07-17
《超微X10DRL-i用户手册》是Super Micro Computer, Inc.为该服务器主板提供的详细技术指南。本文档的修订版1.1b于2020年2月24日发布，包含了关于超微X10DRL-i主板的最新信息。 超微X10DRL-i是一款高性能的服务器...
spellweaver-7drl:7DRL 2021
03-07
咒织者这是我的2021 7DRL条目。 这是带有ASCII图形的经典流氓风格。图书馆它使用了VTerminal和SquidLib，后者是Swing ASCII控制台的前端，而SquidLib提供了各种适用于流氓的实用程序。游戏前提您是派到发霉的地牢中...
MonteCarloTreeSearch
12-23
Monte-Carlo Tree Search (MCTS) is a new best-first search guided by the results of Monte-Carlo simulations. In this article we introduce two progressive strategies for MCTS, called progressive bias and progressive unpruning. They enable the use of relatively time-expensive heuristic knowledge without speed reduction. Progressive bias directs the search according to heuristic knowledge. Progressive unpruning first reduces the branching factor, and then increases it gradually again. Experiments assess that the two progressive strategies significantly improve the level of our Go program Mango. Moreover, we see that the combination of both strategies performs even better on larger board sizes.
DRL-FlappyBird-master.7z
02-12
标题中的"DRL-FlappyBird-master.7z"暗示了这是一个关于深度强化学习（Deep Reinforcement Learning，简称DRL）的项目，其中包含了用于训练和实现Flappy Bird游戏的源代码。Flappy Bird是一款非常流行的手机游戏，...
那么蒙特卡洛树搜索(Monte Calro Tree Search, MCTS)究竟是啥
热门推荐
natsu的随笔
03-26 2万+
同时发布于：http://www.longgaming.com/archives/214Intro最近阿法狗和李师师的人机大战着实火了一把，还顺带捧红了柯杰，古力等一干九段。虽然我从小学的是象棋，对围棋也只是略知一二，但是棋魂还是对我影响颇深的启蒙漫画，于是还是凑热闹看了几盘大战。其中蒙特卡洛树搜索（Monte Calro Tree Search， MCTS）就多次被各路砖家提及。想必各位选过AI课
蒙特卡罗树搜索
禅与计算机程序设计艺术
08-06 696
蒙特卡罗树搜索（Monte Carlo Tree Search, MCTS）是一种用于对复杂决策问题进行快速、准确搜索的方法。它被广泛应用于游戏AI、自动驾驶、网络安全等领域。本文主要基于作者在自然语言处理领域的经验和学习，系统性地回顾了蒙特卡罗树搜索（MCTS）的基本原理和最新进展。希望能为读者提供一个系统性的学习参考。本文简要回顾了蒙特卡罗树搜索的基本原理、算法、应用及局限性，并阐述了MCTS的基本概念和运作方式。
自动驾驶---Behavior Planning之MCTS
最新发布
智能汽车人的博客
01-14 1424
该篇论文的主要作者来自于多伦多大学计算机科学部和博世中国上海研发中心。论文中的主要研究成果也开源了代码。如果自动驾驶汽车进入城市和高速公路环境，那么就需要开发鲁棒性强、适应性强的行为规划系统。研究提出了一种创新的方法来解决这一挑战，利用基于蒙特卡罗树搜索（MCTS）的自动驾驶行为规划算法。核心目标是利用MCTS固有的探索与利用之间的平衡，促进复杂的智能驾驶决策。
LightZero：以 MCTS 为帆，航向决策 AI 的星辰大海
Paper weekly
05-25 307
引言图1：AlphaGO对李世石五番棋2016 年 AlphaGo [1] 与李世石的世纪对决可谓是开启了近十年来人工智能技术探索和发展的浪潮。在围棋这一人类最经典优美的智力游戏上，传统的搜索算法往往迷失在浩如烟海的搜索空间中，朴素的神经网络设计也难以捕捉复杂多变的决策序列数据分布，但是，巧妙地将二者相结合，化用蒙特卡洛树搜索算法（Monte Carlo Tree Search, MCTS）和神经...
【Algorithm】最容易理解的蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）算法
Code_LT的博客
11-02 1423
看了不少解读和笔记，本文把最容易理解的解读做个总结。
强化学习笔记（七）：蒙特卡洛树搜索（MonteCarlo Tree Search）
LuoMin2523的博客
06-22 4468
如果说多臂赌博机问题被看做单步强化学习任务（只用一步决策玩哪个老虎机，然后就收到回报），那么蒙特卡洛树搜索可以看做是解决多步强化学习任务的工具。树是一种天然的用来刻画或者存储多步决策的数据结构。正如所有的动态规划问题可以被转化为图搜索，而所有的线性规划问题可以被转化为二分图一样。至于蒙特卡洛树搜索，实际上可以分为两步[1]： 利用树结构来重新表达决策问题 利用蒙特卡洛方法来进行搜索 MCTS对游戏进行多次模拟，然后尝试基于模拟结果对最佳下一步进行预测。MCTS的四个步骤，即选择、扩展、模拟...
超威X9DRL系列用户手册修订版1.1
本资源是一份名为"超威X9DRL"的产品用户手册，修订版本为1.1，适用于X9DRL-3F和X9DRL-iF型号。发布日期为2013年5月9日。该手册由Super Micro Computer, Inc.（简称Supermicro）提供，旨在提供详尽的产品信息和指导。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值