JPEG-XS 编码技术（一）

        JPEG XS是JPEG委员会发布的国际标准，作为一种低延迟、轻量级的图像编码系统，在多个领域有着广泛应用。它旨在解决视频带宽需求增长与现有传输和存储能力之间的矛盾，在保持视觉无损质量的同时，降低带宽和功耗。JPEG XS的推出，不仅为视频内容的高效传输和存储提供了新的解决方案，而且在保持图像质量的前提下，显著减少了对硬件资源的需求，使得在各种设备上实现高质量视频体验成为可能。

技术概述

核心编码系统：JPEG XS的核心编码系统采用了离散小波变换（DWT），这是一种高效的数学变换技术，能够对图像数据进行有效的压缩。在编码过程中，对4个连续系数组的幅度电平进行熵编码，通过这种方式在保证图像质量的同时实现高效压缩。系数值原样复制到码流中，确保了压缩后的图像数据能够被精确还原，从而达到视觉无损的效果。

颜色变换与处理：JPEG XS针对原始Bayer CFA图像，使用Star Tetrix变换和可配置的非线性变换（NLTs）。Star Tetrix变换直接作用于原始Bayer样本，优化压缩效果；NLTs用于补偿传感器增益、噪声等，还能调整显示设备的传输曲线特性，提升视觉质量。目前标准中定义了二次NLT和扩展NLT两种类型，用户可以根据具体需求选择使用。

关键特性

视觉无损质量：JPEG XS在典型压缩比（如4:4:4和4:2:2图像，最高12位分量精度时压缩比可达10:1）下，实现原始图像和压缩图像之间无明显闪烁，达到视觉透明效果。在一些应用中，还能实现数学无损压缩，确保图像数据的完整性和精确性。

低延迟：JPEG XS的算法延迟可扩展，从少量行数到低于一行，满足如直播制作、AR/VR等对延迟敏感的应用需求。在汽车自动驾驶等场景中，能确保数据快速处理，为实时决策提供支持。

低复杂度：JPEG XS在硬件和软件实现上的复杂度都相对较低。软件方面，i7处理器可实时处理4K 4:4:4 60p内容；硬件方面，FPGA实现无需外部内存，且占用资源少，如处理4K 4:4:4 60p内容时，Artix7 XC7A200T占用不超50%，Cyclon5 5CEA9占用不超25%。

多代稳健性：JPEG XS支持至少10次（部分要求至少7次）编码 - 解码循环，且质量无明显下降，中间可进行叠加、裁剪、编辑等处理，适用于多次处理的工作流程。这使得JPEG XS在需要多次处理和传输的场景中，如视频编辑和分发，具有显著优势。

多平台互操作性：JPEG XS可在CPU、GPU、FPGA和ASIC等多种平台高效实现，不同平台生成的码流可在其他平台解码，编码和解码可独立在不同架构上进行。这种互操作性确保了JPEG XS的广泛兼容性，使得它能够在各种设备和系统中无缝集成。

应用场景

视频链路和IP网络传输：在广播领域，JPEG XS帮助在现有SDI或IP网络基础设施上传输4K、8K等高分辨率视频流。在1GE IP网络中，4:2:2 10-bit 4K 60P视频可通过12:1的压缩比实现传输；在10GE IP网络中，能支持更高分辨率和更多视频流传输。

实时视频存储：在相机等设备使用SSD或SD卡存储视频时，通过JPEG XS的轻量级压缩可实现实时存储高分辨率视频流，增加存储时间，还能实现基于帧的随机访问，方便播放。这对于需要长时间记录和快速回放的场景，如野生动物观察和体育赛事拍摄，具有重要意义。

帧缓冲区压缩：JPEG XS用于视频处理设备的缓冲区，减少系统尺寸、连线数量，延长电池供电系统的电池寿命。如高刷新率显示器、高速相机存储和回放缓冲区、硬件编解码器参考帧缓冲区等场景，JPEG XS都能提供有效的压缩，降低系统资源消耗。

全向视频捕获和渲染：在VR/AR头戴式显示器的应用中，JPEG XS保证了低延迟，实现动作和显示的紧密同步，提升沉浸感。这对于游戏、教育和训练等需要高度沉浸感的应用场景至关重要。

传感器压缩：JPEG XS在工业、汽车等领域的图像传感器数据压缩中应用广泛。在汽车自动驾驶系统中，JPEG XS能处理多个高分辨率传感器数据，降低带宽和功耗，满足实时性要求；在广播和高端相机中，实现低延迟、低缓冲的原始数据压缩。

5G网络传输：随着5G网络的普及，JPEG XS的低复杂度和轻量级压缩能力，支持UHD视频实时传输和互动沉浸式应用，满足低延迟和高分辨率需求。这对于远程医疗、在线教育和实时协作等应用具有重要意义。

标准与规范：JPEG XS标准包含多个部分。Part - 1（核心编码系统）、Part - 2（配置文件和缓冲区模型）、Part - 3（传输和容器格式）已发布；Part - 4（一致性测试）和Part - 5（参考软件）处于最后阶段。此外，还有针对特定功能的修正案和扩展在推进，如对Color Filter Array（CFA）数据压缩的扩展等。这些规范文档目前需要从ISO付费下载，价格不菲。

性能表现：JPEG XS在质量方面，通过客观和主观评估，满足视觉无损要求，优于如VC - 2等部分现有编解码器，与JPEG 2000的某些配置相当。不同配置文件（如LightBayer、MainBayer和HighBayer）在复杂度、延迟和压缩性能上有所差异，用户可根据需求选择。这为用户提供了灵活的选择空间，可以根据不同的应用场景和性能要求，选择最适合的配置。