机器人与目标匹配问题及解决 虚拟动力学 纳什平衡 Q-Learning

1. 问题描述

在世界各地，由于自然灾害或者各种突发事件等原因，灾难经常发生。例如在森林火灾救援的过程中，消防人员必须保证以最短时间以及在自身能力允许的情况下尽可能地扑灭所有的火，防止火势蔓延造成更大的损失。如今随着科技的进步，机器人的应用范围越来越广泛，如多机器人同样也可以使用于上述的救灾场景之中。

如上图所示，模拟了一个森林的实际环境场景，其中三角形标示该森林中意外起火的火灾点，每个火灾点的火势情况不一样，而蓝色圆形标示目前该森林中 处于不同位置的可用于扑灭火灾的机器人，每个机器人的救援能力也有所差异。 由图1可得，模拟的实际环境情况为：在红色框的森林区域范围内，有五个意外起火的火灾点，现在森林中有五台处于不同位置的灭火机器人。为完备智能体工作环境以及实际情况，进行以下假设：
（1）假设机器人只能观测到1千米以内的火灾情况；
（2）每个机器人扑灭火灾的概率与其距离火灾点的距离有关，在本问题中 定义扑灭火灾概率为：

式中，i 表示机器人 i，j 表示火灾点 j；
（3）每个火灾点的火势有所不同，因此每个火灾点扑灭后的收益Vj有所不 同。现在需要对各台机器人以及火灾点进行匹配以救援这次火灾，任务需要实现的总目标为：最大化本次灭火任务的收益，尽可能挽救火灾。

2. 环境模型

为了方便后续的操作，首先对机器人实际运行环境进行离散化处理，对实际的环境进行合适的分割及抽样，忽略环境中其他不影响结果的干扰环境信息，选取环境中的关键节点来构建环境模型。
如下图所示，为依据1中的所示的实际环境情况构建的模型。在火灾救援多机器人环境中，机器人之间需要通过协调合作以最大的收益完成任务。环境地图模型中的栅格通