深度Q网络用语视觉格斗类游戏

最近，基于视觉深度Q的学习在雅达利和视觉Doom AI平台被证明成功的结果。与以前的研究不同，格斗游戏假设两个玩家有相当多的动作，在这项研究中，采用深度Q网络（DQN）用于视觉格斗游戏AI的比赛。动作次数减少到11，并利用视觉格斗平台测试了几个控制参数的灵敏度。实验结果表明，对于双人实时格斗游戏的DQN方法有着很大的潜力！

格斗游戏是一种国际人工智能竞赛平台，具有两个代理之间的匹配。在比赛中，蒙特卡洛树搜索（MCTS）技术是排名在前面的几种方法。近年来，基于视觉的实时游戏AI的数量有所增加，有可能采用基于视觉的方法在格斗游戏的竞争领域击败MCTS方法的情况。

特别是，采用深度Q学习网络（DQN）成功地展示了在雅达利游戏和视觉Doom AI的比赛。

在格斗游戏平台，为每一个角色一共定义了41个动作，为不同的状态定义了几种操作（比如在地上，空中，蹲着等），由于训练的动作数量相对较多，这很有挑战性，最后建议只考虑11个动作。

网络架构：

输入为4通道，分别为连续视频帧，两个卷积层和两个全连接层。

参数设置：

• 输入为960*640像素的，然后重新变换到96*64大小尺寸；
  

• 一个动作用4帧去产生，采用跳帧技术，加快动作额学习
  

• 动作有上、下、右、用拳猛击、踢和六个组合键：

  - ‘Down’ + ‘Down & Right’ + ‘Right & Punch’
  - ‘Down’ + ‘Down & Right’ + ‘Right & Kick’
  - ‘Right’ + Down’ + ‘Right & Down & Punch’
  - ‘Right’ + ‘Down’ + ‘Right & Down & Kick’
  - ‘Down’ + ‘Left & Down’ + ‘Left & Punch’
  - ‘Down’ + ‘Left & Down’ + ‘Left & Kick’
  

  
  

• minibatch设置为32，replay memory设置为50000，学习率为10e-6。

学习过程：

其他设置：

输入数据尺寸 

跳帧技术

行为数量

实验结果：

从上图可以看出，高分辨率的输入效果比低分辨了的好；

在跳帧技术，用较大的跳帧参数值可以增加性能；

小尺寸的行为可以额很好的提高性能。

最后给大家展示一些效果：