GenAINet: Enabling Wireless Collective Intelligence via Knowledge Transfer and Reasoning 论文

摘要:生成式人工智能(GenAI)和通信网络有望在6G中产生突破性的协同效应。通过无线网络连接GenAI代理可以潜在地释放集体智能的力量，并为人工通用智能(AGI)铺平道路。然而，当前的无线网络被设计为“数据管道”，不适合容纳和利用GenAI的功能。在本文中，我们提出了一个GenAINet框架，在这个框架中，分布式GenAI代理通过知识(高级概念或抽象)来完成任意任务。我们首先提供了一个集成了GenAI功能的网络架构来管理网络协议和应用程序。在此基础上，我们通过提出一个语义原生的GenAINet来研究有效的通信和推理问题。具体来说，GenAI智能体从多模态原始数据中提取语义概念，建立一个表示语义关系的知识库，由GenAI模型检索，用于规划和推理。在这种模式下，智能体可以快速学习其他智能体的经验，从而通过有效的通信做出更好的决策。此外，我们通过两个无线设备查询的案例研究表明，在减少通信的情况下，提取和转移知识可以提高查询的准确性;在无线电源控制中，我们展示了分布式智能体可以通过协作推理来改进决策。最后，我们提出了开发一个分层语义级的电信世界模型是实现集体智能网络的关键途径。

I. INTRODUCTION 介绍。

第六代(6G)无线网络被设想为人工智能原生网络，从某种意义上说，无线通信将成为训练和推理的一个组成部分。传统上，无线网络是为数据采集和传输而设计的，旨在实现有针对性的服务质量(QoS)。然而，它们并不是为了支持大规模部署人工智能设备而设计的，特别是对于具有高通信和计算成本的大型人工智能模型。建立在生成式预训练转换器(GPT)上的大型语言模型(llm)已经显示出令人印象深刻的能力，从问题回答和语言理解到数学和常识推理[1]。这些功能促进了法学硕士在机器人、电信、金融、医疗保健等领域的广泛采用。llm的成熟是通过对大量数据和计算的训练而实现的，是迈向人工通用智能(AGI)的重要一步，这意味着人类水平的智能。然而，绝大多数现有的llm都部署在云中，由于带宽、延迟和安全性方面的限制，限制了它们在设备上的适用性。通过无线网络连接分布式llm为实现多智能体集体智能铺平了道路[2]。因此，出现了两大挑战:如何有效地将llm嵌入无线设备以及如何以低成本连接它们。
为了在资源有限的设备上部署llm，提出了各种技术，如模型压缩、推理加速和参数高效微调。例如，T5-770M模型已被证明在某些任务中优于PaLM-540B[3]。此外，在vLLM中提出的页面关注与传统方法相比，可以将llm的平均推理时间降低到1/24[4]。此外，QLoRA[5]是一种有效的微调技术，它可以将LLM量化为4位版本，使用使用量化权重调优的一小组额外可学习的低秩适配器。虽然在模型大小和推理时间减少方面是有效的，但由于LLM的非模块化性质，这些技术可能会降低LLM的性能，例如在泛化能力方面。
要使用llm解决复杂的任务，需要一个多智能体框架。智能体可以观察环境，计划一系列行动，在记忆流中创建经验的高级反映，并制定计划。例如，BabyAGI是一个任务驱动的自主代理框架，可以实时生成、执行任务并确定任务的优先级。Auto-GPT可以将LLM的“思想”链接在一个无限循环的推理中[6]。另一方面，多智能体系统被证明在很大程度上提高了llm在任务求解方面的能力[7]。例如，CAMEL探索了两个具有自主合作的角色扮演交际代理[8]。在生成智能体中，可信的人类行为在沙盒环境中被模拟，其中多个智能体以自然语言交互以完成自发任务[9]。然而，在这些框架中没有考虑通信、计算和存储效率，而这些是无线网络的关键因素。
基于上述原因，在本文中，我们提出了GenAINet框架，在该框架中，多个GenAI代理进行知识交流，以执行有效的推理并解决特定应用的任意任务，例如车辆网络，智能电网和物联网。在GenAINet中，智能体利用llm学习数据的高级概念或抽象，规划推理路径，并执行它来实现目标。智能体之间通过知识交流来帮助彼此进行规划和决策。这样，性能可以在减少通信和计算成本的情况下得到提高。本文的主要贡献如下:讨论了GenAINet架构，并提出了集成llm的可能方法。我们建议统一的代理体系结构来管理网络协议和应用程序;提出了一种基于语义概念和多路径推理的GenAINet通信范式。
通过语义概念，可以将多模态原始数据嵌入到公共语义空间中。通过多步骤规划，我们解释了法学硕士如何执行和优化有效决策的推理路径。从过去的推理和决策中学习到的语义概念可以发送给远程代理或由远程代理检索，以改进独立或协作规划;我们研究了无线genainet的两个案例。
在