语义通信论文略读（十）两篇扩散模型+语义通信

两篇均有代码

生成式语义通信：超越比特恢复的扩散模型

· 作者: Eleonora Grassucci, Sergio Barbarossa, Danilo Comminiello
· 所属机构: 意大利罗马Sapienza大学信息工程、电子和电信系(DIET)
· 关键词: 语义通信, 扩散模型, 生成式模型, 语义扩散, 语义信息
· 时间：2023年6月7日
· 代码：https://github.com/ispamm/GESCO

研究背景:

1. 语义通信的未来： 语义通信被认为是下一代AI通信的核心之一，其特点是能够在接收端再生与传输内容语义等效的图像或视频，而无需恢复传输的比特序列。
2. 现有解决方案的局限性： 当前解决方案缺乏从接收到的部分信息构建复杂场景的能力，需要在生成方法的有效性和传输信息的复杂性之间找到平衡。
3. 研究动机： 本文旨在通过提出一种新颖的生成式扩散引导框架来弥合这一差距，该框架利用扩散模型在合成多媒体内容时保持语义特征的能力。

研究方法:

1. 问题设定： 介绍了通信方法需要面对的物理挑战，包括信号的功率约束、噪声信道传输以及信息的压缩传输。
2. 生成式语义通信框架： 提出了一种新颖的生成式语义通信框架，其核心是语义扩散模型，该模型在语义信息的指导下生成高质量图像。
3. 语义扩散模型： 详细描述了条件扩散模型、编码器、解码器以及损失函数，包括去噪损失函数和KL散度。
4. 无分类器引导： 介绍了无分类器引导的概念，通过扰动均值来提高条件扩散模型生成图像的质量。

实验设计:

1. 数据集： 使用Cityscapes和COCO-Stuff数据集进行训练和评估。
2. 评估方法： 除了使用FID和LPIPS进行图像质量评估外，还进行了三种不同类型的评估，包括语义可解释性、对象意义保留和深度估计。

结果分析:

1. 对比分析： 与经典通信方法和其他语义图像合成模型进行了比较，结果表明本文提出的方法在各种信道条件下都能生成语义一致的高质量图像。
2. 性能评估： 本文的方法在所有评估指标上均优于竞争对手，特别是在恶劣信道条件下仍能保持语义意义。
3. 消融研究： 通过消融研究验证了快速去噪语义块和噪声训练的重要性。

总体结论:

1. 框架优势： 本文提出的框架能够生成在极端恶劣信道条件下仍保持语义一致的样本，优于所有其他竞争对手。
2. 未来工作： 尽管本文的框架在测试的每个场景中都取得了优异的结果，但仍需评估其在更复杂的信道模型中的性能。

资源受限环境下的轻量级扩散模型用于语义通信

· 作者: Giovanni Pignata, Eleonora Grassucci, Giordano Cicchetti, Danilo Comminiello
· 所属机构: 意大利罗马Sapienza大学信息工程、电子和电信系
· 关键词: 生成式语义通信, 量化, 扩散模型, 无线通信
· 时间：2024年10月
· 代码：https://github.com/ispamm/Q-GESCO

研究背景:

1. 生成式语义通信模型的兴起： 近年来，生成式语义通信模型因其在语义通信框架中的革命性改进、性能提升以及新应用的开拓而迅速发展。
2. 资源受限环境下的挑战： 尽管生成模型能够从压缩的语义信息中再生内容，但它们在内存占用和计算负载方面对通信系统提出了重大挑战。
3. 量化技术的应用： 量化作为一种减少深度学习模型计算负担的技术，通过降低模型参数的精度来显著降低内存占用和计算负载。

研究方法:

1. Q-GESCO框架的提出： 本文提出了Q-GESCO（Quantized Generative Semantic Communication）框架，这是一种针对资源受限环境的轻量级扩散模型。
2. 后训练量化（PTQ）技术： Q-GESCO利用PTQ技术对语义扩散模型进行量化，以降低内存占用和计算负载，同时保持与全精度模型相当的生成性能。
3. 噪声感知训练： 在训练过程中，通过设置不同的噪声值来模拟信道噪声，以增强模型对噪声的鲁棒性。
4. 量化参数的校准： 通过创建校准数据集并进行噪声和时间步长感知校准，以优化量化参数并减少量化误差。

实验设计:

1. 数据集： 实验使用Cityscapes数据集，该数据集包含不同城市街道场景的视频帧。
2. 通信场景： 实验模拟了GESCO 5中描述的通信场景，其中发送方发送经过压缩和归一化的语义图，并通过噪声通信信道传输。
3. 基线： 量化过程应用于GESCO 5中提供的模型，使用DDPM采样和T=1000步的扩散过程。

结果分析:

1. 量化结果： Q-GESCO在内存占用和计算负载方面分别节省了75%和79%，同时在不同信道噪声条件下获得了与全精度模型相当的性能。
2. 图像质量评估： 通过PSNR、LPIPS和FID等客观指标评估再生图像的质量，Q-GESCO在这些指标上表现出色。
3. 消融研究： 通过消融研究验证了噪声感知校准过程的有效性，结果表明提出的校准数据集接收方法在LPIPS和FID方面取得了最佳结果。

总体结论:

1. Q-GESCO框架的有效性： Q-GESCO框架在资源受限的语义通信场景中展示了其有效性，通过显著降低内存占用和计算负载，使得资源受限设备能够利用其生成能力。
2. 未来工作： 未来的工作将探索Q-GESCO在更广泛的应用和系统中的实施，以及进一步优化量化技术以提高模型性能。