星际争霸2 AI 强化学习环境部署

星际争霸2 AI 强化学习环境部署

PySC2是DeepMind开发的星际争霸Ⅱ学习环境（SC2LE）的Python组件。 它封装Blizzard Entertainment的星际争霸Ⅱ机器学习API，提供Python 增强学习环境。

1、安装Pysc2

在CMD 下 使用 pip 自动安装
pip install pysc2
并且安装深度学习组件TensorFlow
pip install TensorFlow

2、安装星际争霸II
安装星际争霸II最新版本，

安装目录可以自定义，比如安装到（D:\Game\StarCraft II\），则需要增加如下环境变量：

3.下载地图
Blizzard github下载地图，放入（D:\Game\StarCraft II\Maps）目录。

4.启动代理

python -m pysc2.bin.agent –map Simple64

5.作为玩家启动游戏

python -m pysc2.bin.play –map Simple64、

6、不具备学习能力的AI 代理
PySC2提供了一个在MoveToBeacon小游戏中的简单训练脚本AI。MoveToBeacon小游戏，类似各种即时战略游戏新手教程的第一关，就是控制一个机枪兵不停的移动到指定位置。

class MoveToBeacon(base_agent.BaseAgent):
“”“An agent specifically for solving the MoveToBeacon map.”""

def step(self, obs):
super(MoveToBeacon, self).step(obs)
if _MOVE_SCREEN in obs.observation[“available_actions”]:
player_relative = obs.observation[“screen”][_PLAYER_RELATIVE]
neutral_y, neutral_x = (player_relative == _PLAYER_NEUTRAL).nonzero()
if not neutral_y.any():
return actions.FunctionCall(_NO_OP, [])
target = [int(neutral_x.mean()), int(neutral_y.mean())]
return actions.FunctionCall(_MOVE_SCREEN, [_NOT_QUEUED, target])
else:
return actions.FunctionCall(_SELECT_ARMY, [_SELECT_ALL])

代码结构为：继承BaseAgent定义一个类，实现step函数，参数obs包含了所有的输入信息。首先判断_MOVE_SCREEN控制单位移动指定是否可用，如果不可用则说明还没有选中机枪兵，那么就返回带_SELECT_ALL的_SELECT_ARMY指令（F2）选中所有部队。在可以调用_MOVE_SCREEN时，则查看输入中screen游戏画面中的_PLAYER_RELATIVE部队归属子项，统计出所有部队归属为_PLAYER_NEUTRAL中立单位的位置。再计算这些位置的平均值，得到需要移动到的Beacon的中心点target。最后调用带[_NOT_QUEUED, target]的_MOVE_SCREEN指令，让所选机枪兵立即移动到target位置。不具备学习能力的AI依靠代码设定好的移动路径去完成任务。