生成扩散模型在网络优化方面的应用

最新推荐文章于 2024-10-12 08:39:47 发布

code120302

最新推荐文章于 2024-10-12 08:39:47 发布

阅读量1k

点赞数 16

文章标签：网络

本文链接：https://blog.csdn.net/code120302/article/details/137047250

版权

生成扩散模型在网络优化方面的应用

Background
Motivations
Network Optimization via Generative Diffusion Models
Deep Reinforcement Learning
- Applications of GDM in DRL
Incentive Mechanism Design
Semantic Communications
Internet of Vehicles Networks
Conclusions

生成扩散模型(Generative Diffusion Models, GDMs)具有建模复杂数据分布和生成高质量样本的能力，基于此，GDMs常常被用来执行例如图片生成等任务，随着6G的不断建设与探索，网络规模逐步扩大，网络状态愈加复杂，学习复杂网络中潜在的信息和依赖关系是十分重要的。

Background

生成式人工智能(Generative Artificial Intelligence, GAI)的几种经典模型：

Transformers
Transformers经常用于自然语言生成与处理，如ChatGPT
Generative Adversarial Networks (GANs)
生成对抗模型被用于图片合成领域，其模型架构包括一个生成模型和一个判别模型，生成模型尽可能生成“以假乱真”的数据，判别模型则尽可能分辨数据的真伪，从而使得合成的数据有效。
Variational Autoencoders (VAEs)
变分自编码器将输入数据转化为隐空间的一系列参数，并使用这些参数生成符合原始分布的新数据。
Generative Diffusion Models (GDMs)
生成扩散模型使用前向扩散过程对数据逐步添加噪声，再通过反向扩散对含有噪声的数据进行去噪。其被广泛应用于不同的领域。如，Stable Diffusion, 是一个基于扩散模型的图片生成应用；DDPM(Denoising Diffusion Probabilistic Models)、DDIM(Denoising Diffusion Implicit Models) 被用来执行文本生成任务，从噪声中生成高质量图片等；同样GDMs还能用于音频数据生成、图生成等方面。

GDMs的优点如下：

高质量数据生成能力
GDM的前向扩散和反向扩散过程使得它能够捕捉到复杂的数据分布，从而生成高质量的数据。
灵活性
由于GDM依赖随机微分方程，它能够适应各种各样的数据与应用。
实现简单
前向和反向两个过程，用DNN辅助拟合反向过程。

Motivations

GDMs已经成功应用于智能网络优化的多个领域，然而，随着未来智能网络如通信感知一体化( Integrated Sensing and Communications ,ISAC)、语义通信（Semantic Communications , SemCom) 、车联网( Internet of Vehicles , IoV) 等的兴起，其高维的配置、非线性的关系和复杂的决策过程为网络的优化提出了新的挑战。例如，SemCom网络需要对语义信息有深度的理解，以提取出关键信息进行传输；IoV网络则聚焦大量高可移动实体的异步通信交互。在这些场景中，智能网络需要探索复杂环境的动态变化，发掘环境状态和优化决策之间的依赖关系，那么就需要网络能够利用和处理高维和多模态分布的数据，对整个系统进行性能的优化提升。
GDMs建模复杂数据的能力可以有效解决此类优化问题。

Network Optimization via Generative Diffusion Models

Applications of GDMs

计算机视觉

DDPM & DDIM：从噪声中生成高质量图片。
反射扩散模型(reflected diffusion model)：将约束因素整合到生成过程中，从而获得更加可靠的样本。
隐流式扩散模型(latent flow diffusion model)：弥合了图像和视频生成之间的差距，在隐空间中合成光流序列，生成具有真实空间和时间细节的视频。

文本

Diffusion-LM：将扩散模型聚合到语言模型中，能够增强生成文本的可控性和连贯性。
DiffuSeq / DiffuSum：将GDMs应用到多样化文本序列生成中。

音频

ProDiff model：使用GDMs能够生成高质量的文本转音频输出
MM-Diffusion model：利用GDMs的灵活性生成音视频混合内容。
DiffWave model / DiffSinger model：生成高保真波形和富有表现力的歌声。

Principles of the GDMs

在这里插入图片描述
在初始输入时，GDM通过一系列步骤（即前向扩散过程）逐步引入高斯噪声，从而为去噪神经网络生成目标。随后，神经网络被训练以逆转噪声过程并恢复数据和内容。
前向扩散过程
前向扩散过程被建模为一个T时间步的马尔可夫链，x₀代表原始数据，在这个马尔科夫链中，在数据x_t-1上添加方差为 $\beta~t~$ 的高斯噪声，生成数据x_t，该过程表示为
在这里插入图片描述
那么从原始数据生成第T步数据的概率分布表示为

反向扩散过程
从标准正态分布中取样x_T, 学习分布q(x_t-1| x_t)，采用深度神经网络获得，设模型的参数为 $\theta$

那么可以获得从x_T到x₀的轨迹

整个过程的损失函数为
在这里插入图片描述
从Loss function可以看出，模型在每个时间步预测噪声。

Motivations of using GDMs in Network Optimization

首先，GDMs具有鲁棒的生成能力，在具有或者缺乏专家数据集的形况下都适用于动态网络优化。如果无法使用专家数据集，那么去噪网络将被训练用以最大化或者最小化生成的solutions; 如果可以使用专家数据集，那么去噪网络的训练目标就变成了尽可能缩小生成的solutions和专家数据集给出的solutions之间的差距（个人感觉后者偏向于监督学习）。
其次，GDMs能够将条件信息融合到去噪的过程当中。在智能网络中，一些优化情境，如功率分配决策和激励机制设计经常随着动态无线环境而变化，因此路径损耗、信道衰落等可以作为条件信息用于去噪的过程。在经过训练后，去噪网络能够根据给定的动态无线环境条件生成最优决策。
再者，GDMs和DRL能够互为补充提升智能网络优化决策。使用RL的方法，GDMs可以根据环境的反馈进行训练。

Tutorial with an Example

举个例子说明。我们考虑一个无线网络，网络中有一个基站，总功率为P_T，该基站在M个正交信道上服务一些用户。系统的目标为，通过为每个用户分配信道功率来最大化所有信道的数据率。目标表示如下
在这里插入图片描述
g是信道增益，p是信道功率，N₀是噪声。该问题可以描述为：在总功率约束的条件下，做出功率分配的优化决策，以使得目标函数最大化

在该问题中，信道增益是动态变化的，不同的信道增益下最优决策的结果也不同。令M=3，即有三个信道，下图为三个信道增益分别为{1, 0.5, 2.5}, {3, 1, 3}, {1, 3, 1}的情况下最优决策的选取
在这里插入图片描述

可以看到，信道增益不同，最优值的决策也不相同。接下来说明如何用GDM进行问题的求解。

首先定义解空间和目标函数
其次定义动态环境：这里的动态环境为信道增益，设置为在某个范围内均匀随机取值，也可以替换为特殊的信道衰落模型如瑞利分布等。
最后训练和推断
实验结果分析
实验将GDM与两种DRL方法PPO、SAC进行了对比，可见GDM收敛的速度最快。

下图探究了去噪总时间步对优化的影响，当总时间步T为12时收敛缓慢，取T=6的收敛速度最快。这是因为去噪步数太大，会导致模型失去探索环境的能力，容易造成过拟合。所以去噪总时间步的选取需要在有效去噪和保持弹错之间进行平衡。

下图展示了每一步去噪过程后得到的优化决策（这里取T=5),第六张图是采用water-filling algorithm得到的精确最优解。可以发现，在第五步去噪完成后，获得的优化决策已经十分解决最优的策略。

Deep Reinforcement Learning

Applications of GDM in DRL

在DRL中应用GDM，有如下好处：

表达性（Expressiveness）：GDM能够建模复杂环境变化中的数据分布，从而做出有效的决策。
采样质量（Sample Quality）：在DRL中，GDM能够生成高质量的action，从而优化网络性能。
灵活性（Flexibility）：在DRL中，GDM能够建不同种类的任务行为，使得算法在网络条件多变的情况下也能适应。
规划能力（Planning Capability）：GDM能够迭代去噪过程，有效决策网络优化问题。

虽然GDM为提供了一些优势，然而其本身也存在一些问题。GDM的迭代特性增加了计算的复杂度，在大规模的无线网络优化中是一项挑战；GDM 可能难以准确拟合某些数据分布，尤其是那些具有高噪声水平或不规则性的数据分布，在应用于真实世界应用时仍需要对噪声等做出预处理。

Incentive Mechanism Design

激励机制在网络优化中对维持网络运行性和长期经济可持续性起着重要作用。具体而言，该机制奖励进行共享计算、通信和信息资源和服务的网络参与者。一些经典的激励机制如下：

Stackelberg Game：斯塔克尔伯格博弈，反应企业间的不对称竞争。两个厂商一前一后做决策，后做决策的一方知道先做决策一方的决策，这两个厂商中，一个属于支配地位，一个属于追随者。用在网络优化中，支配者为网络操作者，定义了网络资源和服务的价格，追随者为网络用户，根据给出的价格他们定义了自己的资源需求。支配者的目标是以最少的资源实现最大化利润，追随者的目标为以最划算的价钱实现最高的资源利用率。通过这种方式，网络效率和用户利用率之间可以达到平衡。
Auction：拍卖机制，价高者得。在网络优化中，拍卖者拍卖网络资源，竞拍者根据需求进行竞拍。
Contract Theory：契约理论能够有效解决网络信息不对称。employer设计规定了服务的价格、QoS的等级以及资源分配要求，但是他们并不知道employee的偏好和行为，由此造成了信息的不对称。employer将与employee签订契约，要求employee诚实回答自己的偏好，才可以尽可能提升自己的资源利用率。
Shapley Value：沙普利值是合作博弈的一种。通过考虑各个agent做出的贡献，来公平地分配合作收益。agent i 的沙普利值是i对于一个合作项目所期望的贡献量的平均值。这个例子很好说明了该算法 click here。

Semantic Communications

语义通信指的是利用AI的技术，从生数据(raw data)中提取和传输相关度最高的语义信息给接收者，有意义的信息提取能够降低网络传输的负载。语义通信包含三个部分：语义编码器、无线信道、语义解码器。

语义编码器：语义编码器利用神经网络将生数据编码成为语义表征向量，通常会使用一些特征提取、降维的技术捕捉必要的语义信息。
无线信道：在传输过程中，语义信息受到无线信道引入的物理噪声的影响，容易导致信息的损坏。在语义通信中，要考虑无线信道的特征和噪声的潜在影响。
语义解码器：接收者使用神经网络等作为解码器，解码并重建接收到的语义信息。

Internet of Vehicles Networks

在车联网中，车辆作为数据智能体能够收集交通模式、道路情况和导航等信息。GAI能够利用收集到的数据做出实时的决策，如流量预测、最佳路由等。
在这里插入图片描述

Conclusions

GDM在网络优化方面具有很大的潜力，其建模复杂数据分布的特性使得其复杂的网络环境中大放异彩。在几种未来网络（语义通信、车联网等）中，GDM能发挥其优势，为智能网络的发展中的问题提供了新兴的解决途径。

————————————————————————————
参考文献
Du, H., Zhang, R., Liu, Y., Wang, J., Lin, Y., Li, Z., Niyato, D.T., Kang, J., Xiong, Z., Cui, S., Ai, B., Zhou, H., & Kim, D.I. (2023). Beyond Deep Reinforcement Learning: A Tutorial on Generative Diffusion Models in Network Optimization. ArXiv, abs/2308.05384.