基于群体熵的机器人群体智能汇聚度量

【摘 要】群体行为往往能产生远超个体行为的价值和复杂度。为了在个体智能的基础上更有效地衍生出群体智能，需要基于群体熵来科学地衡量群体智能水平，并以群体熵为引导目标，推动群体智能的增强和演进。针对这个重要的科学问题，以无人小车群体为研究对象，提出基于参数共享和群体策略熵的多智能体soft Q learning算法，通过共享智能体的观测信息，并结合最大熵强化学习方法，实现探索型任务中群体策略的持续学习更新。同时，通过将群体熵定义为度量工具，刻画群体学习中熵变化模式，实现对群智汇聚过程的定量分析。

【关键词】  群体熵 ; 群体智能 ; 深度强化学习

0 引言

个体间的交互等行为让群体现象变得更加复杂，个体合作让群体发展出高于个体智能的更复杂的智能模式。人工智能的发展推动了人类社会的快速发展，在单体智能的基础上，群体智能模式应运而生。例如无人机（车）集群协同对抗、群体软件开发等复杂群体行为，都可以被视为群体智能的体现。不同时空节点上的个体通过通信、观测等方式，以竞争、合作等自主协同模式共同完成复杂任务，涌现出超越个体智能的群体智能。

对群体智能机理的研究主要从生物仿生和控制算法研究展开，一方面对生物体的群体行为进行仿生研究，主要包括模拟鸟群行为的Boids模型、自驱动粒子模型（Vicsek模型）、进化算法、蚁群优化算法、粒子群优化算法等；另一方面不断对控制算法进行提升，主要包括机器人集群控制算法以及强化学习算法，如Q-learning、PPO、多智能体强化学习等。

从上述分类可以看到，目前对群体智能的研究主要以模拟自然界和人类群体的群智行为来解决复杂问题，缺乏从机理层面对群智涌现