Cross Modal Compression: Towards Human-comprehensibleSemantic Compression 论文笔记

需要提前了解的知识点：

跨模态压缩

        是一种面向多种媒体数据的语义压缩框架，它将图像，视频等高语义冗余的数据借助跨模态翻译模型转为文本，语义图，素描图等低语义冗余的数据。     这种低语义冗余的数据具有码率低和人类可理解等特点，实现了极高的压缩比，同时还可以在不解压的情况下实现语义监督。

码率

        码流(Data Rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率，通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分，一般我们用的单位是kb/s或者Mb/s。一般来说同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。码流越大，说明单位时间内取样率越大，数据流，精度就越高，处理出来的文件就越接近原始文件，图像质量越好，画质越清晰，要求播放设备的解码能力也越高。

比特率

        在电信和计算领域，比特率（英语：Bit rate，变量R[1]）是单位时间内传输或处理的比特的数量。比特率经常在电信领域用作连接速度、传输速度、信息传输速率和数字带宽容量的同义词。     在数字多媒体领域，比特率是单位时间播放连续的媒体如压缩后的音频或视频的比特数量。在这个意义上讲，它相当于术语数字带宽消耗量，或吞吐量。     比特率越高，传送的数据越大，还原后的音质、画质就越好，在视频领域,比特率常翻译为码率

畸变

        信号在传输过程中与原有或标准相比所发生的的偏差

 

跨模态压缩框架 

过程理解为：

        原始的图像或视频数据先通过跨模态编码器压缩为一个语义紧凑的表示，这个语义紧凑的表示可以通过跨模态解码器将原始的图像/视频给重构出来，在压缩域中可以通过压缩域编码器将紧凑表示编码为比特流，同时可以借助压缩域解码器将比特流解码为紧凑表示。比特流和畸变可以通过寻找一个紧凑的压缩域以及优化相关的跨模态编码/解码器来共同优化。 

涉及的知识点：

 过程大致理解为：

 

 

 实验结果：

 理解为：

我们提出的ITI可以在实例级别的CUB-200-2011数据集上以超高的压缩比很好地重建图像。 如图3左部分所示，大多数重建的图像是锐利的和细粒度的，具有相似的外观 作为原始图像，尽管在重建的背景中可能会模糊。 同时，大部分文本描述在语义上与原始图像一致，压缩率高达4000-7000倍 我们提出的ITI可以在实例级别以超高压缩率部分重建MS COCO数据集上的图像。在MS COCO数据集上，我们的ITI只能在实例级别部分重建图像，表现不如CUB-200 -2011 年。 这是因为 MS COCO 是一个更加多样化的数据集，而 CUB-200-2011 是鸟类的特定类别数据。 然而，如图3右侧所示，我们的ITI仍然可以部分重建场景和场景中的一些关键物体，尽管物体可能不完整和模糊 总体而言，定性结果显示在特定于类的数据集（例如 CUB-200-2011）上表现良好，并在不同数据集（例如 MS COCO）上具有令人鼓舞的潜力，证明了我们提出的 ITI（CMC 范式）的有效性。 值得一提的是，我们可以使用更强大的图像生成模型来提高重建性能，但这项工作的主要目的是证明跨模态压缩的有效性，因此改进 CMC 的子模块超出了这项工作的范围

我们提出的 ITI 可以通过集/实例级重建实现超高压缩比。 如图 4 所示，MS COCO/CUB-200-2011 数据集的比特率低至26.28/36.69 字节，远低于 JPEG 和 JPEG2000 基线。 我们的 ITI 模型的集合/实例级重建性能（IS、FID 和 IPD）在低比特率时与 JPEG 和 JPEG2000 基线相当。但由于低比特率，我们的压缩率超高。 因此，我们的 ITI 模型（CMC 的一种范式）对于需要超高压缩比和仅实例级或集合级重建的应用具有潜力，例如用于低带宽机器分析的图像/视频数据传输