RoboCup机器人仿真2D相关技术介绍

RoboCup仿真2D是人类足球比赛的模拟
（1）RoboCup仿真2D利用计算机模拟2D环境下的机器人进行足球比赛
（2） 比赛平台的设计充分体现了控制、通讯、传感和人体机能等方面的实际限制
（3）仿真2D机器人足球的研究重点放在于球队的高层功能：个人技术、局部战术、全局策略等
仿真2D机器人平台的特点
仿真2D平台提供了一个全分布的、包括合作与对抗的多智能体实时环境，具有如下特点：
（1）问题规模巨大 - 状态空间和动作空间都是连续的
（2）大量不确定因素
（3）环境部分可观察且存在噪音
（4）行动结果具有不确定性
（5）受限的通信模型
（6）对手模型未知
（7） 实时系统

主要研究背景
（1）信息的不确定性，不完全性
2D里面的视觉信息是个典型例子
（2） 行动的不确定性
所有2D足球里面的行动都有很大误差
（3）多智能体博弈，决策
11个敌方球员，10个我方球员
（4）超大规模
行动和状态全是巨大的连续空间

智能体，决策和博弈
（1） 自主智能体是指那些于复杂动态环境中，自治地 感知环境信息，自主采取行动，并实现一系列预先设定的目标或任务的计算系统。
2D仿真是个典型的多智能体决策问题。
决策问题的建模往往又基于状态和效用。
效用理论：反应智能体在世界状态之间的偏好。
（2）博弈
经典问题：囚徒困境

对2D来说问题对手模型未知，问题规模巨大，不确定性强。
（3）决策
1）搜索算法
状态抽象
深度优先搜索

  启发式搜索：优先扩展那些“更有价值”的状态，如蚁群算法等

2）建模思路：基于MAXQ的分层分解模型
求解算法思路：启发式搜索
马尔可夫决策过程（Markov Decision Processes，MDPs）：描述一个带有部分行动不确定性的理论框架。
框架包括状态（S），行动（A），行动转移函数（带有概率）（P(s,a,s’)），和收益函数R(s,a,s’)，衰减因子r （[0,1]）。
基本动作框架如下：

具体实现
（1） 不确定性
将所有不确定性统一抽象到状态转移的不确定性上， 用这个思路回避对手建模
（2）超大规模的决策空间
限制搜索的深度和广度，利用启发式和一些经验条件剪枝
（3）收益矩阵稀疏
把启发式作为收益函数针对不同的情况要做不同的调整和设定.