基于群体熵的机器人群体智能汇聚度量

【摘 要】群体行为往往能产生远超个体行为的价值和复杂度。为了在个体智能的基础上更有效地衍生出群体智能，需要基于群体熵来科学地衡量群体智能水平，并以群体熵为引导目标，推动群体智能的增强和演进。针对这个重要的科学问题，以无人小车群体为研究对象，提出基于参数共享和群体策略熵的多智能体soft Q learning算法，通过共享智能体的观测信息，并结合最大熵强化学习方法，实现探索型任务中群体策略的持续学习更新。同时，通过将群体熵定义为度量工具，刻画群体学习中熵变化模式，实现对群智汇聚过程的定量分析。

【关键词】  群体熵 ; 群体智能 ; 深度强化学习

0 引言

个体间的交互等行为让群体现象变得更加复杂，个体合作让群体发展出高于个体智能的更复杂的智能模式。人工智能的发展推动了人类社会的快速发展，在单体智能的基础上，群体智能模式应运而生。例如无人机（车）集群协同对抗、群体软件开发等复杂群体行为，都可以被视为群体智能的体现。不同时空节点上的个体通过通信、观测等方式，以竞争、合作等自主协同模式共同完成复杂任务，涌现出超越个体智能的群体智能。

对群体智能机理的研究主要从生物仿生和控制算法研究展开，一方面对生物体的群体行为进行仿生研究，主要包括模拟鸟群行为的Boids模型、自驱动粒子模型（Vicsek模型）、进化算法、