《Nine Challenges in Artificial Intelligence and Wireless Communications for 6G》文献翻译_machine learning and wireless communications-CSDN博客

本文链接：https://blog.csdn.net/vyvyvyvtfr/article/details/143742804

6G 人工智能与无线通信的九大挑战

摘要—近年来，人工智能（AI）领域，尤其是机器学习（ML）方面的发展技术已成功应用于多个领域，这引发了人们普遍的信念，即 AI 将在未来无线通信中发挥重要作用。为了实现这一目标，我们提出了需要 AI/ML 和无线通信交叉学科解决的九大挑战，特别关注第六代（6G）无线网络的应用。具体而言，本文将这九大挑战分类为 AI 计算危机、分布式神经网络和学习，以及 ML 驱动的语义通信。

关键词—计算危机，分布式学习，语义通信，6G 无线网络。

I. 引言

到 20 世纪 80 年代末，计算神经网络的基础算法集合已接近完善，尽管如今的神经网络规模更大。30 年前，处于探索阶段的神经网络通常仅包含几层结构化的少数神经元。由于计算资源和复杂性的限制，它只能处理有限量的训练数据，限制了其能力、性能和应用。少数学者坚持不懈地研究，直到 2000 年初，他们提出了新的思维模式，促成了深度学习（DL）的巨大成功，并帮助他们赢得了 2018 年的图灵奖。

计算能力在人工智能（AI）发展中起着关键作用。遵循摩尔定律，与 30 年前相比，计算能力增加了大约 200,000 倍，这使得机器学习（ML）的能力提高了 100,000 倍。对于一个深度神经网络来说，每一层包含数百万甚至数千万个神经元和数亿个参数。得益于这些献身科学的学者们的努力、蛮力计算和大数据，DL 在许多应用中已经超越了人类水平。

顺便提一下，大约 30 年前，当我们还是电气工程和计算机科学领域的博士生时，也选修了一些神经网络的课程。然而，当时的教授们告诉我们，研究 ML 很难找到工作。因此，我们转向了无线通信领域的研究，并参与并领导了从第一代（1G）到第五代（5G）无线网络的研究。

在未来 10 到 20 年内，我们的主要任务是通过智能通信促进 ML 技术的多种应用。我们希望明确 AI 和无线网络之间的一些概念，包括用于通信网络的 AI（AI4NeT）和用于 AI 的通信网络（Net4AI）。在图 1 中，我们展示了它们在链路层和网络层的区别。特别地，AI4NeT 主要属于 5G 和 5.5G，而 Net4AI 则是第六代（6G）及未来无线网络的核心。如今，我们正在应用 ML 技术以提升通信网络的智能化和传输性能。

对于 6G 及以后的发展，AI 将在我们日常生活中的各处得到广泛应用，通信网络将会传输和收集 ML 所需的大量数据。因此，AI 将彻底变革 6G，并且也将成为 6G 的核心业务。6G 中的 AI 远不止是“覆盖层”应用。对于 6G 及以后，我们将特别关注 Net4AI。

蛮力计算将在未来一段时间内刺激 AI 的发展。新的理解、新的发现和新的创新在很大程度上依赖于 AI 的计算能力。此外，AI 的成功和普及需要无尽的大数据，而这依赖于未来无线网络的数据传输和收集。不幸的是，无论是蛮力计算还是无尽的大数据，都不可持续。因此，我们确定了需要在 6G 中解决的九个非常关键的挑战，接下来将详细介绍。如果在相关领域没有理论上的突破，我们仍需在黑暗中摸索。希望 AI 和 6G 无线网络的结合能够为未来无线网络的新理论带来光明。

在本文中，我们将讨论通信和 AI 领域的九个基本科学挑战，重点关注 DL 和无线通信交叉领域中的问题和挑战，特别是那些确保 6G 无线网络成功的关键挑战。具体而言，这些挑战包括深度神经网络在无线通信中的通用挑战、分布式 DL 和分布式神经网络，以及 DL 驱动的语义通信。

II. 无线通信中的深度神经网络一般挑战

接下来，我们将讨论与 6G 无线通信密切相关的五个 ML 基本挑战。

挑战 1：深度学习的计算危机

根据 MIT 团队在文献 [1] 中的研究，图 2 比较了不同时代 ML 的复杂性与摩尔定律。在 Dennard 增长时代，通过提高时钟速度来提升计算能力，AI 计算的能耗几乎遵循摩尔定律。在多核时代，它的增长速度开始超过摩尔定律。如今，我们已经进入深度学习（DL）时代。由于 AI 中对蛮力计算的需求，能耗的增长速度远超摩尔定律的增长速率，至少达到 $10^5$ 倍。因此，必须将能耗纳入考量，以确保可持续发展，否则我们在该领域的努力可能会付诸东流。

此外，为了将 ML 的错误率降低到 5% 以下，计算成本极其昂贵，约需 1000 亿美元和 10 万亿条指令 [1]。因此，降低计算复杂度成为未来 AI 的主要任务。即使可以采用一些技术，如剪枝、低维压缩、较少的量化级别或更小的 DNN 来缓解这一问题，AI 计算危机在未来几十年仍将是一个长期的工程难题。

为了解决上述挑战，我们应首先建立一套针对计算和通信中的能耗评估方法，以便促进解决方案的选择。

挑战 2：深度学习中的梯度消失

在深度学习中，反向传播（back-propagation）梯度迭代对于硬件加速架构来说是一个非常棘手的问题，这会影响无线传输的延迟，并且对端到端通信具有重要意义 [2]。

在过去，许多神经网络的修补方法已被开发出来，以解决梯度下降算法迭代反向传播的问题。部分方法如下：

Sigmoid 函数的饱和，例如修正线性单元（ReLU）函数，会导致梯度消失。ReLU 函数的负半轴为死区，梯度变为零。因此，提出了带泄漏的 ReLU（LeakyReLU）和参数化 ReLU（PReLU）来替代 ReLU。
为了增强梯度和权重分布的稳定性，指数线性单元（ELU）和缩放的 ELU（SELU）被应用于深度神经网络。
如果神经网络过深，梯度难以传递。因此，发明了高速网络 [3]，其中参数甚至可以省略，并使用残差网络（ResNets）。
批量归一化（BatchNorm）可以稳定神经网络参数的均值和方差。
DropOut 在训练过程中忽略了一些单元/神经元，可以增加梯度流中的噪声，从而减轻过拟合并降低泛化误差。
在循环神经网络（RNN）中，梯度有时不稳定。因此，广泛使用了长短期记忆（LSTM），并通过加入门控循环单元（GRUs）进一步改进。
生成对抗网络（GAN）中的Jensen-Shannon (JS) 散度会导致梯度消失或失效，使用Wasserstein GAN (WGAN) 可以解决此问题。

以上只是一些修补方法，但它们无法完全解决这一问题。

通过重新审视 Arnold-Kolmogorov 任意函数逼近定理，可能有望开发出一种一步或迭代算法来解决深度学习中的梯度下降迭代问题。通过对深度学习中反向传播的本质和行为的深入研究，或许伴随着一些理论上的进展，我们可能能够减轻甚至完全解决这一问题。当然，这是一个长期目标，我们期待在不久的将来取得重大突破。

挑战 3：深度神经网络的记忆容量

预计神经网络的记忆功能将在未来通信中得到充分利用。例如，语义发送器和接收器需要巨大的记忆容量来存储背景知识 [13]。通常来说，神经网络的记忆容量越大，其提高通信效率的潜力越大，尤其是在第 IV 节将介绍的语义通信效率方面。一个自然的问题是，神经网络可以记住多少种对象或事件，或者其记忆容量究竟是多少。

文献 [4] 表明，具有 $n$ 个神经元的 Hopfield 网络的记忆容量近似为：

$\approx \frac{n}{2 \log_2 n}.$

挑战 4：深度学习对大数据的依赖（我仍然认为这很令人困惑）

训练深度神经网络所需的大数据通常是通过无线通信收集的。因此，如何高效快速地训练神经网络，进而降低对大数据和无线通信的需求，变得至关重要。

即使如挑战 3 所示，深度神经网络的记忆容量与规模之间的关系尚不明确，具有大记忆容量的神经网络通常拥有大量的参数，并需要海量的数据来训练模型。

在通信领域，已经有一些初步工作尝试利用领域知识来减少对训练数据的需求，例如用于通信系统的模型驱动深度学习 [5]。在领域知识使用、大数据需求、通信性能和系统复杂性之间权衡是一个棘手的问题。此外，了解一般通信应用所需的最小数据量也很重要。

挑战 5：动态学习、积累学习与元学习

当前，AI 模型在一种特殊的学习假设前提下进行训练，即环境（训练数据的统计特征）在训练期间是静态的。然而，真实的通信场景，尤其是移动通信，环境不断变化。动态深度学习的基本特性在无线通信中的应用还需进一步深入研究。

这一挑战有可能通过积累学习和元学习的发展来解决。人类积累学习的理论由认知心理学家在 40 多年前提出。最近，积累学习的概念 [6] 已被应用于分类问题。传统 ML 模型通过固定的识别集合来训练分类模型，这对于包含新特征的数据集来说效果欠佳。积累学习 [6] 可以通过扩展深度神经网络，支持迭代的积累、微调和重构，从而解决该问题。此外，元学习 [7]，也称为“学习如何学习”，近年来成为活跃的研究领域。随着其发展，通信系统和网络的动态学习终有一天可以实现。

III. 分布式神经网络和分布式学习

现如今，全球大约有700万个基站和60亿个移动终端，而且这些数字还在不断增长。由于巨大的存储需求、复杂的计算、高能耗以及隐私问题，不可能将不同基站和终端的数据收集到一个超级融合服务器中进行集中处理。因此，分布式神经网络和分布式学习在未来的无线通信中变得极为重要。

挑战6：无线数据辅助的集体学习

集体学习 指的是多个服务器共同收集数据并训练机器学习模型。这属于分布式学习的一般范畴，但与通信有着特殊的关系。

集体学习的架构和性能依赖于AI本身和通信。在AI和无线通信的集成架构中，主要问题是如何分割数据以及如何将通信和计算分离，其中数据主要用于训练机器学习模型，而通信模型用于数据/参数的传输。在这里，我们重点关注通信问题。

具体来说，如何对神经网络进行分割以及为集体学习分配任务是一个尚未解决的问题，同时也是一个深刻的理论问题。具体而言，相关的研究问题包括：

如何集体学习多个小型且相同的神经网络？
如何将一个大型网络划分成多个小型网络？
网络的规模和数量对学习效率和优化有何影响？

以下是按您要求保留引用格式的翻译内容，您可以直接复制到Markdown编辑器中：

挑战7：无线通信支持的联邦学习

联邦学习[8]-[10]，是一种通过无线通信实现的分布式学习类型。与挑战6中的集体学习不同，联邦学习更依赖于通信。如图3所示，在联邦学习中，多个客户端/终端共同训练/学习相同的模型，仅在多个终端之间交换参数，而不是像集体学习那样对数据、任务和神经网络进行分割。终端与边缘神经网络之间的信息交换依赖于无线通信，边缘神经网络和中央网络之间也是如此。因此，传输错误对分布式/联邦学习的效果有显著影响。

过去，无线通信和AI领域独立发展，具有不同的优化目标。特别是，通信系统通常旨在最大化数据传输速率并最小化比特错误率，而AI的性能通常通过识别准确性和数据再现质量来衡量。总体而言，AI和无线通信之间的互动与连接是一个全新的趋势，之前从未联合研究过。

以深度神经网络的学习过程为例。即使在前几次迭代中，系数错误的影响微乎其微，但在最后几层的最后几次迭代中，这种影响变得非常关键且敏感。因此，在神经网络的不同迭代和不同层次下，对无线传输质量的需求各不相同。推理模型中也存在类似问题。

除了上述的误差敏感性问题外，还有许多其他问题。例如，如何压缩模型参数以节省通信资源，以及如何在中央服务器进行稳健的参数聚合以解决通信错误和落后问题，如[10]所述。这些问题为6G的创新提供了机会。人们非常希望从理论基础上找到机器学习模型误差与各种无线传输误差/不完美之间的关系，以便促进其联合优化 [11]。

IV. 语义通信

语义通信是后香农时代的问题。大约70年前，Weaver在其与香农合著的经典著作中将通信划分为三个层次 [12]，包括符号传输、语义交换以及语义交换的效果。

当香农建立信息论时，他仅专注于符号传输的数学理论。特别是，源中的信息量由其熵表示，通信信道的容量被证明为信道输入和输出之间的最大互信息，二者均以比特为单位。由于缺乏建模和分析传输内容语义或意义的通用数学工具，即使许多杰出的研究人员已经在这一领域努力探索，过去的进展依然有限。

近期在深度学习及其应用方面的成功使得重新审视Weaver的第二层次甚至第三层次模型成为可能，此时的目标不再是传输比特序列，而是传输内容的意义。我们将其通俗地称为语义通信。初步的通信架构如图[4]所示，其中香农信道嵌入在内层，Weaver的语义信道位于外层。在这一架构下，科学问题包括：

我们如何衡量语义？
语义通信系统的极限是什么？
是否存在类似于香农信息论的理论？
如何高效地实现和执行语义通信？

值得注意的是，近年来语义通信引起了广泛关注，并且在这一领域已经出现了一些初步的研究 [][13][13]–[][15][15]。我们相信在不久的将来将会有更多关于语义通信理论和实现的研究工作。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

挑战8：语义通信的数学基础

Kolmogorov是上个世纪的一位伟大数学家，他在1958年于冷战时期的苏联，通过铁幕的另一边接触到香农信息论，并进一步扩展了信息论的数学基础。根据他的研究，对于一大类自同构系统，数学等价的充要条件是它们具有相同的熵。Kolmogorov还将香农熵的数学基础扩展到拓扑和代数的跨学科领域。

后香农通信或语义通信的新数学基础也尤为重要。香农信息论中的熵和容量基于统计概率定义，可能不适用于语义通信。

为了发展语义通信的数学基础，统计概率被替换为信息的逻辑概率 [13]，在此基础上定义了语义源、语义噪声、语义熵、语义容量和语义编码。此外，语义源编码定理和语义信道编码定理也已被证明，与香农信息论中的对应定理类似 [13]。然而，更进一步的需求是建立一个全面的数学框架，以确定语义通信系统的最佳结构。

挑战9：语义通信系统的结构

或许，我们中的许多人忽略了香农经典著作第5至7页的内容 [12]，这是关于自然语言AI的最早表述。基于Dewey对英语语言的统计结果，香农尝试通过概率和统计方法，从随机英语字母中重构英文句子，以此研究语义通信。那时，香农部分退回到基础概率的支持，以推动信息论中熵的概念，但实际上忽略了语义通信中的重要元素。

在 [14] 中，将经典的霍夫曼编码与深度神经网络方法在2018年的文本传输中进行了比较。研究发现，利用深度神经网络的改进效果相对有限，这进一步证实了香农信息论。

在语义通信中，一个关键问题是信息还原应通过忠实恢复相应的比特或直接语义还原来实现。这可以被视为语义通信中的结构性问题，正如香农和Weave所指出的那样。这里的问题转向是否应使用通用的深度学习神经网络进行语义通信的训练和学习，或者探索通信的不同结构层次。

最近，一种基于深度学习的语义通信系统（用于文本传输），被称为DeepSC，已经在 [15] 中得到了发展。借助Transformer和新的损失函数设计，DeepSC的目标是通过恢复句子的含义来最大化系统容量并最小化语义错误，而不是像传统通信中那样关注比特或符号错误。为了恰当地衡量语义通信的性能，提出了一个新的度量标准——句子相似性。与不考虑语义信息交换的传统通信系统相比，DeepSC对信道变化更加稳健，能够在低信噪比（SNR）情况下获得更好的性能，如图5所示。在 [15] 中的初步结果显示了语义通信的强大潜力。在该领域中，针对视频、图像和语音传输的语义通信的更多研究也被期待。

以下是翻译内容，您可以直接复制到Markdown编辑器中：