语义失真及语义通信系统难点总结

本文针对信源为图像的语义通信系统的语义失真进行总结：

1，语义失真是度量信源数据和重建数据的距离。

2.在进行图像重建的过程中通常以MSE作为语义失真度量。这里主要考虑像素失真，以像素作为语义信息。

3. 互信息可以能够衡量一个一个随机变量包含另一个随机变量的信息量，可以借鉴互信息来度量语义失真程度。表示信源S压缩为Z丢失关于重要语义信息Y的信息量，既压缩过程语义失真程度。在这里互信息计算是一个难点，对于多维变量互信息计算是非常困难的，可以通过神经网络进行估计，比如比如变分法，MINE，和CLUB都可以对互信息进行估计。在这里主要考虑面向智能任务的语义通信系统。

3.通过语义信息熵，，这种方法度量准确，却存在难以计算的问题。即使是面向任务的语义通信系统，对于语义信息熵的计算也是一件非常困难的事情。现有的语义信息熵度量主要从两方面进行研究，一方面是模糊数学理论，另一方面是命题逻辑理论。（对于这两方面的研究对于我这种数学基础差的人来书能看懂就是一个巨大的突破更何况要对他进行度量和使用其进行损失函数设计）。

4.当然还有一些其他的方法进行语义失真度量，比如把任务和图像重构相结合的方法，把图像的像素信息，特征信息和语义信息相结合的方法。

现有语义通信系统面临的挑战：

1.语义信息理论研究

        语义信息理论研究的难点主要在于语义信息难以量化的问题。把语义信息量化的问题解决之后语义信息理论问题不能说全部解决，最起码能解决一大部分。

2.语义通信系统架构设计

目前语义通信系统出现很多不同的架构，每一种架构又有各自的优缺点。所以语义通信系统缺乏统一的模型架构。同时对于语义噪声的建模仍存在一定的挑战。即使在较为完善的文字语义通信系统中，于没用对语义噪声进行合理的建模。

3.语义知识库设计于更新

语义通信系统的性能很大程度上取决于通信双方共享相同的语义知识库。在现实环境中收发双方具有相同的语义知识库是一件非常困难的事情。语义知识库会随着社会和人类活动变化而变化。因此设计一种随时更新，的语义知识库是一件需要研究的事情。

4.多模态语义编解码

大多数语义通信系统的相关工作缺乏对多模态的考量。基本上都是针对单一信源（图像，文字）的传输。很难完成多智能任务。设计一种多模态融合的语义编解码器非常重要。如何设计多模态信源的统一架构也需要进一步完善。