并行实现有自学习能力的五子棋ＡＩ

许南山

丛

磊

孙风平

（北京化工大学信息科学与技术学院，北京１０００２９）

摘

要

介绍了传统人机博弈ＰＶＳ（ＰｒｉｎｃｉｐａｌＶａｒｉａｔｉｏｎＳｅａｒｃｈ，主要变例搜索）算法，并在历史启发的基础上，设计了利用

多处理器及超线程技术计算速度更快的并行ＰＶＳ算法，并在算法中加入了自学习能力，使五子棋ＡＩ模拟人的思维。关键词

ＡＩＰＶＳ并行自学习

文献标识码Ａ

中图分类号ＴＰ３０１

文章编号１００２－８３３１（２００６）３０－００４５－０３

ＰａｒａｌｌｅｌＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＧｏｂａｎｇＡＩｗｉｔｈＳｅｌｆ－ＬｅａｒｎｉｎｇＡｂｉｌｉｔｙ

ＸＵＮａｎ－ｓｈａｎＣＯＮＧＬｅｉＳＵＮＦｅｎｇ－ｐｉｎｇ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＣｈｅｍｉｃａｌＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１０００２９）

Ａｂｓｔｒａｃｔ：ＩｎｔｒｏｄｕｃｅｔｈｅｃｌａｓｓｉｃｃｈｅｓｓａｌｇｏｒｉｔｈｍＰＶＳ（ＰｒｉｎｃｉｐａｌＶａｒｉａｔｉｏｎＳｅａｒｃｈ）．ＡｎｄｂａｓｅｄｏｎＨｉｓｔｏｒｙＨｅｕｒｉｓｍａｌｇｏｒｉｔｈｍ，ｄｅｓｉｇｎｔｈｅＰａｒａｌｌｅｌＰＶＳａｌｇｏｒｉｔｈｍｗｈｉｃｈｐｅｒｆｏｒｍｓｂｅｔｔｅｒｂｙｕｓｉｎｇｍｕｌｔｉｐｒｏｃｅｓｓｏｒｏｒｈｙｐｅｒ－ｔｈｒｅａｄ．Ａｄｄｓｅｌｆ－ｌｅａｒｎｉｎｇａｂｉｌｉｔｙｓｏｔｈａｔＧｏｂａｎｇＡＩｓｉｍｕｌａｔｅｓｈｕｍａｎｔｈｉｎｋｉｎｇ．Ｋｅｙｗｏｒｄｓ：ＡＩ，ＰＶＳ，ｐａｒａｌｌｅｌ，ｓｅｌｆ－ｌｅａｒｎｉｎｇ

１引言

人机博弈的ＡＩ理论，由于其涉及的知识范围广、难度大，

历来成为各高校人工智能研究的热门。目前绝大部分对弈算法都是基于冯・诺依曼（ＪｏｈｎＶｏｎＮｅｕｍａｎｎ）于１９２８年提出的极大极小博弈树理论。１９６３年Ｂｒｕｄｎｏ成功将这一理论发展，根据避免搜索极大极小博弈树中的不必要的节点，形成了

Ａｌｐｈａ－Ｂｅｔａ剪枝搜索。而ＰＶＳ算法正是在Ａｌｐｈａ－Ｂｅｔａ算法的

基础上，根据一种最优解假设思想产生的算法。麻省理工学院的国际象棋机器人ＳｔａｒＳｏｃｒａｔｅｓ就是采用的ＰＶＳ算法。

由于盘面预测的计算量非常大（比如对于五子棋的中盘走法，预测四步的局面数可以达到一百万），所以作为专业的五子棋ＡＩ必须采用多线程为基础的并行运算。此外为了避免人用固定棋谱获得胜利，ＡＩ还必须具有自学习能力。

基于以上考虑，本文提出一种以传统局面存储表、走法历史启发、评估函数为基础，考虑胜利层数的有自学习能力的并行的ＰＶＳ算法。

以得出，Ｃ最终值也必然小于或等于１６。又因为Ｂ已经得出为

图

１

棋盘节点搜索示例图

１８，说明Ａ的最终值一定是Ｂ的值，而不会是Ｃ的值。也就是

说在搜索得出Ｃ节点的子节点Ｄ的值后，则表明Ｅ、Ｆ不必再搜索，因为最后Ｃ的值对于Ａ已无意义。基于这种思想的搜索

剪枝就叫Ａｌｐｈａ－Ｂｅｔａ剪枝。实际上Ａｌｐｈａ－Ｂｅｔａ剪枝的根源是由于极大极小博弈树存在着这样的两个规律：

如果目前节点Ａ是该ＡＩ走，也就是求子节点中的最大值，那么：

（１）Ａ的子节点的值一定要比Ａ的父节点的前兄弟节点中（深度优先搜索里同一父节点下，搜索排在前面的节点是后面节点的前兄弟）的最大值还大，否则舍弃此节点。

（２）Ａ的子节点的值（或称为已搜索完的Ａ的子节点的最大值）一定要比Ａ的前兄弟节点中的最小值还小，否则舍弃该子节点和该子节点的所有后兄弟节点，也就是发生Ｂｅｔａ剪枝。

如果Ａ节点是该用户走，也就是求子节点中的最小值，那么：

（３）Ａ的子节点的值一定要比Ａ的父节点的前兄弟节点中的最小值还小，否则舍弃此节点。

（４）Ａ的子节点的值（或称为已搜索完的Ａ的子节点的最小值）一定要比Ａ的前兄弟节点中的最大值还大，否则舍弃该子节点和该子节点的所有后兄弟节点，也就是发生Ａｌｐｈａ剪枝。

，Ａ计算机工程与应用２００６．３０

２算法设计

在对弈中，根据下一步由谁来走，计算机对任何一个局面

都应该给出一个评估值，我们把这个操作称为评估函数。然后根据评估函数返回的值，来选择下一步的走法。在这里假设评估值越大表明对ＡＩ越有利，评估值越小则表明对ＡＩ越不利。那么每次ＡＩ选择都是从它可能的走法子节的最终返回评估值中选择最大点，而用户总是从候选走法节点的最终评估值中选择最小点，从而形成一棵极大极小搜索树，然后根据深度优先搜索，可以最后得到固定搜索深度下的一个最好的走法。

不过在这种搜索结构下，存在着些不必要搜索的子节点。比如：图１中方形框节点是该ＡＩ走，圆形框节点是该人走，Ａ节点是该ＡＩ走，它需要从Ｂ和Ｃ当中选取最大的值。目前已经得出Ｂ为１８，当搜索Ｃ节点时，因为Ｃ是该人走，所以Ｃ需Ｄ、Ｆ，４５

速度起着至关重要的影响。根据五子棋的特点，可以产生一个棋面限制框，记录当前棋面所有棋子的最左、最右、最上、最下点构成的矩形，而且基本可以认为下一步棋的位置不会脱离这个框３步以上。这样在棋子较少的开局阶段就大大减少了候选节点的数量。此外根据候选节点离中心点（天元）的距离和此次搜索的前面搜索布局中该节点的得分（对于所有层次结果中的最优节点被认定其为好节点，给予一定的得分），进行排序（历史启发排序），能够大大提升搜索速度。

ＲＥＣＴＬｉｍｉｔ）｛

／＊ＰＶＳ搜索函数，参数同ＣｒｅａｔｅＰＶＳＴｈｒｅａｄ＊／

ｉｆ有一方五子连珠，则返回相应的极值（比如ＡＩ胜返回９９９９，

用户胜则返回－９９９９）；

ｉｆ当前布局已在前面搜索的更深层次（在局面储存表中）中出

现过，则返回储存表中对本布局的评估值；

ｉｆ该局面已经到了搜索树的叶子节点，则返回相应的评估值；产生当前所有可能的下一步走法ＰｏｓｓｉｂｌｅＳｔｅｐｓ，并把其按历史

得分排序；

ＰＶＳ算法是一种体现最优步假设的算法，它的思想是与其

判断哪个节点最好，不如先假设一个节点最好，然后再证明后面的节点确实比它差或者强。这种思想的来源是在历史启发的基础上，经过历史启发排序后的第一个节点有些情况下就是最优节点。

棋盘大小：１５＊１５，黑（７，８）表示黑子位于棋盘第７行第８列。

表１

搜索深度

走法（ＡＩ执白后手）黑（７，７）；白（８，８）黑（８，７）；白（９，７）黑（７，９）；白（７，８）

ｉｆ（该ＡＩ走）｛

走出Ｐｏｓｓｉｂｌｅｓ［０］这一步，并产生新的棋盘限制框ｎｅｗｌｉｍｉｔ；

ｉｎｔｂｅｓｔ＝ＰＶＳＳｅａｒｃｈ（ｄｅｐｔｈ－１，Ａｌｐｈａ，Ｂｅｔａ，ＰｏｓｓｉｂｌｅＳｔｅｐｓ［０］，ｎｅｗｌｉｍｉｔ）；ｆｏｒ１ｔｏＰｏｓｓｉｂｌｅＳｔｅｐｓ．ｓｉｚｅ－１ＰｏｓｓｉｂｌｅＳｔｅｐｓｄｏ｛

ｉｆ（ｂｅｓｔ＞＝Ｂｅｔａ）发生Ｂｅｔａ剪枝，记录ＰｏｓｓｉｂｌｅＳｔｅｐｓ［０］的历史得

分，返回ｂｅｓｔ；

搜索节点数量统计

首节点为最优点（个）

总共搜索节点（个）

ｅｌｓｅ｛

Ａｌｐｈａ＝Ｍａｘ（ｂｅｓｔ，Ａｌｐｈａ）；／／更新Ａｌｐｈａ

走出ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］这一步，并产生新的棋盘限制框ｎｅｗｌｉｍｉｔ；

３３３

４３９３０１３９１

３２１０２６３９７２１２

ｉｎｔｓｃｏｒｅ＝ＰＶＳＳｅａｒｃｈ（ｄｅｐｔｈ－１，ａｌｐｈａ，ａｌｐｈａ＋１，ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］，ｎｅｗｌｉｍｉｔ）；

／＊利用宽度为１进行最小窗口试探搜索，因为Ａｌｐｈａ和Ｂｅｔａ差距越小，剪枝率越高，这么做的目的是证明ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］比已得的最好结果差（比最好结果小）。＊／

表１的实验数据证明，结合历史启发的ＰＶＳ搜索更具效率。那么如何让ＰＶＳ并行运算呢？因为进行Ａｌｐｈａ－Ｂｅｔａ剪枝，所以各兄弟节点的值是有影响的，在这种情况下可行的办法是在第一层用一个线程分配器把第二层的候选节点分配给多个线程，每个线程包含着从第二层一个候选节点开始的ＰＶＳ搜索，然后等所有线程结束后，进行结果汇总，选出最大值。需要历史启发注意的是，由于多个线程同时对布局储存ＨＡＳＨ表、表等多个资源进行共同操作，所以只要是涉及这些方面的执行代码都需要进行同步处理。图２是其处理过程。

ｉｆ（ｓｃｏｒｅ＞ａｌｐｈａ＆＆ｓｃｏｒｅ＜ｂｅｔａ）／／假设失败

｛ｂｅｓｔ＝ＰＶＳ（Ｄｅｐｔｈ－１，ｓｃｏｒｅ，Ｂｅｔａ，Ｐｏｓｓｉｂｌｅｔｅｐｓ［ｉ］，ｎｅｗｌｉｍｉｔ）；／／重

新搜索

ｉｆ（Ｄｅｐｔｈ＝＝ＭａｘＤｅｐｔｈ）／／如果到根节点（总搜索树第二层节点）ＢｅｓｔＲｅｓｕｌｔ［线程序号］＝ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］；／／记录最优值｝ｅｌｓｅｉｆ（ｓｃｏｒｅ＞ｂｅｓｔ）

｛ｂｅｓｔ＝ｓｃｏｒｅ；／／更新ｂｅｓｔ值ｉｆ（Ｄｅｐｔｈ＝＝ＭａｘＤｅｐｔｈ）

ＢｅｓｔＲｅｓｕｌｔ［线程序号］＝ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］；｝撤消ＰｏｓｓｉｂｌｅＳｔｅｐ［ｉ］的走法。

｝／／ｅｎｄｅｌｓｅ｝／／ｅｎｄｆｏｒ

对ＢｅｓｔＲｅｓｕｌｔ［线程序号］加分（历史得分，因为其是一个好走

法）；

把ＢｅｓｔＲｅｓｕｌｔ［线程序号］记录到局面储存ＨＡＳＨ表中，因为该局

图２

面已经被搜索过。

ＰＶＳ算法线程分配图

ｒｅｔｕｒｎｂｅｓｔ；｝／／ｅｎｄ该ＡＩ走

ｅｌｓｅ｛／／该人走略，与该ＡＩ走步骤类似，区别是ＡＩ节点取子节点

的最大值，而该人走的节点是取子节点的最小值。｝

线程分配器的伪代码如下：

ＣｒｅａｔｅＰＶＳＴｈｒｅａｄ（ｉｎｔＤｅｐｔｈ，ｉｎｔＡｌｐｈａ，ｉｎｔＢｅｔａ，ＰＯＩＮＴＪｕｓｔＳｔｅｐ，ＲＥＣＴＬｉｍｉｔ）｛

／＊线程分配器函数，Ｄｅｐｔｈ是搜索深度，Ａｌｐｈａ、Ｂｅｔａ是初始剪枝值，ＪｕｓｔＳｔｅｐ是上一步位置，Ｌｉｍｉｔ是棋盘限制框＊／

产生当前所有可能的下一步走法ＰｏｓｓｉｂｌｅＳｔｅｐｓ，并计算相应的

新限制框ｎｅｗｌｉｍｉｔ；

｝

在最后主线程得到所有ＰＶＳ线程结束的消息后，选出所有的

ＢｅｓｔＲｅｓｕｌｔ［线程序号］中最大值所对应的走法，也就是对这个布

局所产生的Ｄｅｐｔｈ搜索深度下的最好走法。

ｆｏｒｅａｃｈＰｏｓｓｉｂｌｅＳｔｅｐｓｄｏ

｛产生一个线程，其中包含对ＰｏｓｓｉｂｌｅＳｔｅｐｓ［ｉ］的ＰＶＳ搜索

ＰＶＳＳｅａｒｃｈ函数。当该线程终止时，将当前线程数－１，并判断如果当前线程数为０，则通知所有ＰＶＳ子线程成功结束，取出所有线程返回值，选取最大值的走法。｝

３算法测试数据

以下是当人先走出第一步天元位置后，ＡＩ计算第一步的

时间（单位：ｓ）。

｝

线程容器内的ＰＶＳ搜索伪代码如下：

，，

４算法增强

４．１胜利和失败局面的层数因素

４６２００６．３０计算机工程与应用

第2 / 3页

表２

搜索深度

测试结果

并行ＰＶＳ＋历史启发

ｓ

０．０３０．２１１．９６１２８．８６

的Ｐ（Ｌ／Ａ）均为１，而赢者在Ｄｅｐｔｈ步走法内的Ｐ（Ｗ／Ａ）均为１。而倒数Ｄｅｐｔｈ次以外的步数有没有可能导致必输呢（比如最后阶段通过多个冲四，可以在ＡＩ预测步数之外产生必胜局面）？答案是可能的。可以把倒数第Ｄｅｐｔｈ局面定为目标局面，从倒数第Ｄｅｐｔｈ＋１步开始进行层数加深的迭代预测，直到该步局面不会一定导出这个目标局面为止，而在这步以后的局面都是必输局面。规定Ｐｒｅ（Ａ）＝Ａ的前次走法，ＰｒｅＰｒｅ（Ａ）＝Ａ局面的前次走法的前次走法（等于悔棋一步）。进行复盘的伪代码如下：

ｉｆ（倒数第Ｄｅｐｔｈ步该输者走）ＣＭ＝倒数第Ｄｅｐｔｈ步的局面；ｅｌｓｅ

ＣＭ＝倒数第Ｄｅｐｔｈ－１步的局面；ｆｏｒ（；；）｛

对ＰｒｅＰｒｅ（ＣＭ）这个局面进行深度为２的ＰＶＳ搜索；

ＰＶＳ０．０６０．４５９．３６５２９４．５８１

ＰＶＳ＋历史启发

０．０４０．２３１２．０２５３１．５５３

２３４５

（注：硬件环境为Ｐ４（ＨＰ）２．８ＧＨｚ，内存７６８Ｍ）

处理，ＡＩ胜返回最大，ＡＩ输返回最小，但事实上即使对于必胜和必输局面，层数也应该影响返回值。因为下棋时如果能２步获胜，下棋者不会选择４步获胜的走法。对于必输局面层数就更重要，ＡＩ必须选择层数多的必输走法，因为有可能用户并没有看出必杀的走法，而浪费了机会，这样就会使ＡＩ化险为夷。所以在返回极值时，要把层数考虑进去，像：

ＲｅｔｕｒｎＶａｌｕｅ＝９９９９－ｗｅｉｇｈｔ＊Ｄｅｐｔｈ；（ＡＩ胜）ＲｅｔｕｒｎＶａｌｕｅ＝－９９９９＋ｗｅｉｇｈｔ＊Ｄｅｐｔｈ；（ＡＩ输）

Ｄｅｐｔｈ越大，表示越靠近根节点。这样当ＡＩ胜利时，对于越靠

近根节点的局面，就返回越大值，反之亦然（ｗｅｉｇｈｔ可以由具体评估函数确定）。

ｉｆ（得到的预测最佳走法不等于ＣＭ）ｂｒｅａｋ；ｅｌｓｅ｛

Ｐ（Ｌ／ＰｒｅＰｒｅ（ＣＭ））＝１；Ｐ（Ｗ／Ｐｒｅ（ＣＭ））＝１；ＣＭ＝ＰｒｅＰｒｅ（ＣＭ）；｝｝

４．２等好局面的随机走法

由于ＡＩ总是选择评估值最好的走法走，这样导致在相同

的布局，ＡＩ总走出相同的下一步。而事实上，除了必杀招或者必防招，一个局面很多时候没有绝对最好的走法，而是有一些都近似不错的走法，那么可以把这些评估值差距在一定范围内的走法汇集起来，然后随机选择它们中的一种走法，避免ＡＩ的走法的固定模式。

对于上面的伪代码，可以将ＢｅｓｔＲｅｓｕｌｔ［线程序号］改为一个走法队列，里面存放最好的Ｎ（一般Ｎ小于５）个走法，然后在所有线程结束时，从所有的ＢｅｓｔＲｅｓｕｌｔ走法中得到最好的走法，然后把评估值与最好走法的评估值之差在一定范围Ｒａｎｇｅ内的走法都选进来，从中随机选一个走法。Ｒａｎｇｅ值的确定要参考具体的评估函数。

这样在每次下完后电脑复盘，更新最后若干走法的导致胜利或失败的概率。等下次对弈时，ＡＩ自动把这些数据加到评估函数中去，对于高概率影响ＡＩ获胜的走法返回极大值，高概率导致ＡＩ输的返回极小值。ＡＩ如果发现当前布局的这种走法在以前输过棋，那么它不会选择这个走法，从而达到自学习的效果。

５结束语

随着ＩｎｔｅｌＨＰ（超线程技术）的实现和将来多处理器ＰＣ机

的普及，对于数据计算量大的人机对弈问题必然要求应用并行的思想去处理。超快搜索速度和必要的复盘必然带给下“反思”棋ＡＩ更多智慧。（收稿日期：２００５年１２月）

４．３自学习能力

上面的并行ＰＶＳ搜索算法还没有自学习的能力，这样ＡＩ

在下棋时会重复以前出现过的所以需要在每盘棋结束“昏招”。时，对输方（尤其当ＡＩ输时）进行一定步数的复盘。而这个步数一定要大于搜索的Ｄｅｐｔｈ（因为输方在Ｄｅｐｔｈ深度预测中并没有预见到它的不利）。因此如果用Ｐ（Ｌ／Ａ）表示在Ａ走法下导致输棋的概率，而Ｐ（Ｗ／Ａ）表示Ａ走法下导致获胜的概率，那么最后输者在Ｄｅｐｔｈ步走法（叫为输者的最后一个必输局面）内

参考文献

１．陆汝钤．人工智能［Ｍ］．北京：科学出版社，１９９５

２．ＮｉｌｓＪＮｉｌｓｓｏｎ．郑扣根，庄越挺译．ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅＡＮｅｗＳｙｎ－ｔｈｅｓｉｓ［Ｍ］．北京：机械工业出版社，２０００

３．ＦＤＬａｒａｍéｅ．ＣｈｅｓｓＰｒｏｇｒａｍｍｉｎｇ［Ｍ］．ＷｒｏｘＰｒｅｓｓＬｔｄ，１９９９４．ＤＮＬＬｅｖｙ．ＣｏｍｐｕｔｅｒＣｈｅｓｓＣｏｍｐｅｎｄｉｕｍ［Ｍ］．Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，１９８８

（上接２２页）

制造系统—ＣＩＭＳ，２００３；９（５）：３８４￣３８９

４．ＥｍｍｅｌｈａｉｎｚＭ，ＥｍｍｅｌｈａｉｎｚＬ，ＳｔｏｃｋＪ．Ｃｏｎｓｕｍｅｒｒｅｓｐｏｎｓｅｔｏｒｅｔａｉｌｓｔｏｃｋ－ｏｕｔｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＲｅｔａｉｌｉｎｇ，１９９１；６７（２）：１３８￣１４７

５．ＷａｎｇＣＸ，ＢｅｎａｒｏｃｈＭ．ＳｕｐｐｌｙｃｈａｉｎｃｏｏｒｄｉｎａｔｉｏｎｉｎｂｕｙｅｒｃｅｎｔｒｉｃＢ２Ｂｅｌｅｃｔｒｏｎｉｃｍａｒｋｅｔｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌＰｒｏｄｕｃｔｉｏｎＥｃｏｎｏｍｉｃｓ，２００４；９２（２）：１１３￣１２４

６．ＳｕｎＤ．Ｉｎｖｅｎｔｏｒｙｍａｎａｇｅｍｅｎｔｉｎｅ－ｂｕｓｉｎｅｓｓ．Ｗｏｒｋｉｎｇｐａｐｅｒ，Ｐｅｎｎｓｙｌ－ｖａｎｉａＳｔａｔｅＵｎｉｖｅｒｓｉｔｙ，ＵＳＡ，２００１

２．ＡｂｅｒｄｅｅｎＧｒｏｕｐ．Ｍａｋｉｎｇｅ－ｓｏｕｒｃｉｎｇｓｔｒａｔｅｇｉｃ：ｆｒｏｍｔａｃｔｉｃａｌｔｅｃｈｎｏｌｏｇｙｔｏｃｏｒｅｂｕｓｉｎｅｓｓｓｔｒａｔｅｇｙ［Ｒ］．ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ，ＡｂｅｒｄｅｅｎＧｒｏｕｐＩｎｃ，２００２

３．ＣａｍｐｏＫ，ＧｉｊｓｂｒｅｃｈｔｓＥ，ＮｉｓｏｌＰ．Ｔｏｗａｒｄｓｕｎｄｅｒｓｔａｎｄｉｎｇｃｏｎｓｕｍｅｒｒｅ－ｓｐｏｎｓｅｔｏｓｔｏｃｋ－ｏｕｔｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＲｅｔａｉｌｉｎｇ，２０００；７６（２）：２１９￣２４２

计算机工程与应用２００６．３０４７