Pachi中的蒙特卡洛树搜索,AMAF,Rave

最新推荐文章于 2024-06-28 23:15:00 发布
最新推荐文章于 2024-06-28 23:15:00 发布
阅读量1.3k 收藏 4
点赞数
分类专栏： 机器学习 文章标签： pachi 蒙特卡洛树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx2054807/article/details/102607643
版权

蒙特卡洛树搜索:

 MCTS使用蒙特卡洛模拟来估计每个节点的价值. 其默认策略为贪婪算法, 即每次选择价值最高的节点进行模拟, 在每次模拟得到结果后, 将结果反馈回每个上级节点, 更新节点价值. 通常来讲, 每个访问到的节点都会加入到树中, 实际上为了节省内存每次只加入一个子节点, 可以通过对旧节点剪枝或多次模拟后再加入新节点来进一步节省内存.
　　在这里插入图片描述
 贪婪算法的缺点在于对于一个节点, 如果产生了一次或几次不利的结果后, 搜索树就会避开访问这个节点, 这意味着搜索树的广度会降低, 可能会忽略更好的选择. 这时应该选择UCB1算法(Upper Confidence Bound), 对应节点产生的价值为:

在这里插入图片描述
 其中C为搜索规模常数, 当C取值越大, 树越偏向广度搜索, 越小就越偏向深度搜索.

 AMAF(all moves as first) 算法的核心思想是每一步落子有一个恒定的价值, 不管是什么时候落下的.

 当给定状态s, 模拟出期望结果z, 选取a作为后续落子, AMAF value计算为:
在这里插入图片描述
 当第i次模拟时, 动作a被执行, 得到状态s时返回1, 否则则返回0

 RAVE(rapid action value estimation) 算法融合了蒙特卡洛树搜索和AMAF算法, 它不计算蒙特卡洛价值,

最低0.47元/天 解锁文章
lx2054807
关注
专栏目录
蒙特卡洛树搜索(MCTS)原理与代码实战案例讲解
程序员光剑
05-24 557
蒙特卡洛树搜索(MCTS)原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 什么是蒙特卡洛树搜索？ 蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）
翻译Deep Learning and the Game of Go（6）第4章(下)蒙特卡洛树搜索在围棋上的使用，改进评估函数
qq_41957257的博客
02-28 1984
注：该文章接上一篇文章，同样是原书第4章内容 4.5 使用蒙特卡洛树搜索来评估棋盘状态 在alpha-Beta剪枝中，你使用了一个盘面评估函数来帮助你减少必须考虑的盘面数量。但是围棋中的盘面评估是非常，非常困难的：你的基于吃子的简单评估函数不会愚弄很多围棋玩家。蒙特卡洛树搜索提供了一种在没有任何关于游戏的战略知识的情况下评估游戏状态的方法，该蒙特卡洛算法通过模拟随机游戏来评估...
AlphaGo学习笔记（一）------蒙特卡洛（一）
weixin_40999066的博客
03-19 1249
蒙特卡洛 注：本人在初学阶段，根据所读的文献并查阅资料有了自己的理解，难免有一些理解错误之处，希望大家不吝赐教，批评指正 ：） 一.蒙特卡洛模拟： 蒙特卡洛模拟是一种简单的基于模拟的搜索算法，用于从根状态s0评估候选招法。也就是每在一个盘面下，采用快速走子策略(rollout policy)，随机落子，将所有的可能都全部模拟出来，不必考虑这招棋的能对自己产生多大利益，因为围棋本身也很难构造局...
蒙特卡洛树搜索 MCTS
klzhang的专栏
02-17 8943
字数2205 阅读46 评论0 喜欢1 源地址0. http://www.jianshu.com/users/696dc6c6f01c/latest_articles 什么是 MCTS？ 全称 Monte Carlo Tree Search，是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性
DouZero:通过自我对弈深度强化学习掌握斗地主
最新发布
步子哥的博客
06-28 774
游戏常常作为人工智能的基准,因为它们是许多现实世界问题的抽象。在完全信息游戏中已经取得了重大成就。例如,AlphaGo(Silver等,2016)、AlphaZero(Silver等,2018)和MuZero(Schrittwieser等,2020)在围棋游戏中建立了最先进的性能。最近的研究已经演变到更具挑战性的不完全信息游戏,在这些游戏中,代理在部分可观察的环境中相互竞争或合作。从两人游戏(如简单的Leduc扑克和限注/无限注德州扑克)(Z
对焦算法实现总结
热门推荐
羽凌寒
01-26 1万+
简介 　　本篇主要是对实现对焦算法的总结记录。 对焦模式 　　常用模式：CAF、TOUCH focus、auto focus。 　　CAF: 1、判断条件：环境亮度变化、陀螺仪之类传感器数据变化 2、检测到环境亮度或者传感器数据变化超过一定阀值 3、继续检测到环境亮度或者传感器数据变化已经稳定 4、触发CAF Touc
推荐算法之NMF算法
给我一点温度
09-06 5770
在例如Netflix或MovieLens这样的推荐系统中，有用户和电影两个集合。给出每个用户对部分电影的打分，希望预测该用户对其他没看过电影的打分值，这样可以根据打分值为其做出推荐。 NMF（non-negative matrix factorization）的基本思想可以简单描述为：对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，将一个非负的矩阵分解为左右...
AVL算法
rave..juine
07-05 1402
#include #include #define EH 0 #define LH 1 #define RH -1 typedef struct Bitree { int data; int bf;
蒙特卡洛树搜索
RoadSon的博客
11-03 8026
蒙特卡洛树搜索 一、基本思想 要搞清楚蒙特卡洛树搜索的基本思想首先要明白什么是蒙特卡洛树？蒙特卡洛指的就是蒙特卡洛方法，又称统计模拟方法，是通过产生随机数来解决问题的方法，例如投针方法来计算Π。树就是我们数据结构中学的树结构，注意，这里不是二叉树，每个结点有多个孩子结点。搜索就是遍历树，找到最优解。 蒙特卡洛树搜索算法是一种用于决策的启发式搜索算法，在上《人工智能基础》这门课时，接触过几个启发式搜...
蒙特卡洛搜索树
lirunqi3的博客
01-04 1678
对于多选择任务时，采用蒙特卡洛搜索树是一个很好的选择。 推荐论文：A Survey of Monte Carlo Tree Search Methods 一、 蒙特卡洛树搜索从字面解释分为蒙特卡洛方法和树搜索。树搜索比较好理解，就是利用树形结构定位目标；蒙特卡罗方法则是以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。 最恰当的例子就是井字棋游戏，虽然一共有9个格子，但是对于井字游戏构建的游戏树也有一定规模。当对于围棋、象棋、麻将之类的游戏树，在复杂条
围棋pachi软件，exe
11-12
围棋pachi软件，可以安装包，也可以采用命令行模式进行下棋，水平大概在野狐3-6段。采用mcts，深度学习
蒙特卡洛算法
03-29
蒙特卡洛算法详解，举例为用蒙特卡洛算法求解pi，及其相关知识
pachi-blogueirinha:Pachi Blogger
05-25
Pachi Blogueirinha 简单的博客入门与 。 从部署。 你有什么 一个带有简单静态站点生成器 使用结构化内容 全球部署 快速开始 克隆此存储库 npm install在本地的项目根文件夹中 npm run dev在本地启动工作室和前端 ...
树状DP入门
rave..juine
05-28 1437
题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=1520 题目大意：给定一棵关系树，每个节点有个权值，子节点和父节点不能同时选，问最后能选的最大价值是多少？ 解题思路：树形DP入门题。由于子节点与父节点不能同时选，有人可能会用贪心思想，二者选其一肯定最优。其实不然，有可能父节点和子节点都不选，而要选子孙节点。不过只要再往深点想下，就可以得出
采用卷积神经网络实现斗地主AI
09-11 1694
前面几篇中已经讲述过，如果使用MCTS及其变种实现斗地主AI，链结可参考：棋牌AI 这期聊一聊目前采用卷积神经网络（CNN）实现斗地主AI的方案。卷积神经网络 介绍一下卷积神经网络，个人觉得下面几篇文章讲得比较清楚了，有需要请参考：谭庆波：卷积神经网络（CNN）详解深入学习卷积神经网络（CNN）的原理知识 - 战争热诚 - 博客园一文看懂卷积神经网络-CNN（基本原理+独特价值...
蒙特卡洛树搜索 Monte Carlo Tree Search
x3464的博客
10-08 3964
什么是 MCTS？ 全称 Monte Carlo Tree Search，是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性。 MCTS 受到快速关注主要是由计算机围棋程序的成功以及其潜在的在众多难题上的应用所致。超越博弈游戏本身，MCTS 理论上可以被用在以 {状态 state，行动 action} 对定义和用模拟进行预测输出结果的任何领域。 基本算法 基本的 MCTS 算法非常简单：根据模拟的输出结果，按照节点构造搜索树
围棋aipython
08-21
围棋是一种非常复杂的棋类游戏，AI在围棋领域的应用也是非常广泛的。其中比较著名的是Google DeepMind开发的AlphaGo和AlphaZero，以及Facebook开发的DarkForest等。 在Python中，有一些非常优秀的开源围棋AI库，比如Pachi、GnuGo等。同时，也有一些围棋AI竞赛平台，比如AI-DO、KGS等，可以让人们通过编写代码来训练和对弈自己的AI。 如果你想学习围棋AI相关知识，可以先了解围棋的规则和基本算法，比如蒙特卡罗树搜索（Monte Carlo Tree Search，MCTS）。然后可以选择一些开源库进行实践和学习。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值