从小白到专家之十|实时云渲染的关键技术之——音视频编解码保障高质量音视频网络传输

音视频编解码技术是指对音频和视频数据进行压缩和解压的技术，目的是在有限的带宽和存储空间内传输和存储音视频内容，在多媒体通信、流媒体传输、视频会议等领域具有关键作用。它在云渲染场景中尤为重要，能够高效地压缩和传输渲染图像及音频信号至客户端，并进行解码与展示。此外，使用GPU进行编解码，可以实现高性能和高效率的数据处理，确保顺畅的音视频渲染体验。主要包括视频编解码技术和音频编解码技术。

视频编解码技术

1. 编码算法：利用压缩算法对渲染图像进行压缩以减小数据量并提高传输效率。常见的视频编码算法有H.264、H.265（HEVC）、VP8、VP9、AV1等。VVC（Versatile Video Coding）作为新的视频编码标准，旨在保持高质量视频编码的同时，显著降低码率和延迟。

2. GPU加速编解码：利用GPU的并行计算能力，加速编码和解码过程，提高编解码性能和效率，减轻CPU负担，提升整体系统性能。

3. 码率控制：通过控制编码器输出的比特率来平衡视频质量和传输带宽，常用的码率控制方法有恒定比特率（CBR）、可变比特率（VBR）、恒定质量（CQP）等。

4. 分辨率和帧率动态调整：支持多种分辨率和帧率（如1080P8K、60140FPS），并能根据网络带宽和设备性能动态调整视频的分辨率和帧率，以适应不同的播放环境。

5. 编码输入格式：支持多种编码输入格式，以满足不同客户和应用的需求。常见的编码输入格式包括YUV格式（如YUV420、YUV422、YUV444）和RGB格式（如RGB888、RGBA8888）。

6. 图像组大小控制：图像组（GOP）大小影响视频编码的压缩效率、传输延迟和解码质量。较小的GOP提高压缩效率但增加延迟，较大的GOP降低延迟但可能影响压缩效率和质量。

7. 编码器模式：提供快速模式、标准模式和高质量模式，适应不同的应用需求。快速模式注重实时性，标准模式平衡编码速度和视频质量，高质量模式则追求最佳视觉效果。

音频编解码技术

1. 编码算法：使用压缩算法将音频信号转换为数字数据并减小数据量以提高传输效率。常见的音频编码算法有PCM、MP3、AAC等。

2. 采样率和量化位数：根据网络条件和带宽限制，动态调整采样率和量化位数，以平衡音频质量和传输效率。常见的采样率有44.1 kHz、48 kHz，量化位数有8位、16位、24位等。

3. 声道数：根据场景需求选择适当的声道数，常见的有单声道（Mono）、立体声（Stereo）等，多声道用于呈现逼真的环境音效。

4. 熵编码：使用熵编码算法（如霍夫曼编码、算术编码）对量化后的音频数据进行进一步压缩，以减少冗余信息。

5. 音频预处理：在编码前进行降噪、混响抑制、均衡器调节等预处理，以提高编码后音频的质量和环境适应性。

6. 动态质量调整：根据网络状况和设备性能实时调整编码参数，以平衡音频质量和传输效率。

7. 音频混音：将多个音频源混合成单个音频流，用于多音轨或多人协同场景，提供更丰富的音频体验。

音视频编解码在云渲染中的作用

音视频编解码是保证实时云渲染正常运行的关键。由于实时云渲染场景的特殊性，对音视频编解码技术提出了更高的要求，包括实时性、传输效率、跨平台兼容性、多媒体格式支持、多路流处理等方面：

1. 实时性要求：渲染结果需要在用户终端设备上实时显示，以满足交互性和即时性的需求。

2. 传输效率：需要高效压缩和传输音视频数据，以减小数据量并降低网络传输的带宽要求，同时保证高质量的音视频渲染。

3. 跨平台兼容性：支持不同终端设备的编解码操作，确保兼容性和可靠性。

4. 多媒体格式支持：支持多种多媒体格式，满足不同场景和客户需求。

5. 多路流处理：同时处理多个音视频流，保持良好的性能和质量。

Paraverse平行云实时云渲染解决方案LarkXR自研网络传输优化产品Hermes，通过优化网络传输控制算法，以提升复杂网络环境下的用户体验。在应用运行过程中，接收端可通过LarkXR实时根据当前网络的整体状态进行评估，并结合原始图像的运动估算来计算帧率。通过使用Paraverse平行云专利Qoe感知拥塞控制器和自主研发的拥塞控制算法，对目标码率进行动态分配。数据经过编码后，在数据链路层封装成帧，最终通过发送控制器将音视频相关的数据包传送到终端设备。整个过程会根据当前网络状态进行动态调整，以保证数据传输的稳定性。

针对超大码率和超低延迟的需求，LarkXR能够自动调节带宽，解决网络延迟、分组丢包、网络抖动以及带宽变化等问题，从而为用户提供最佳的使用体验。

在此之上，Paraverse平行云不断提升LarkXR在实时云渲染领域的应用效果和整体体验。2023年以来，持续改进LarkXR产品的相关组件及流程，对LarkXR相关产品进行了一系列优化。包括面向云VR场景的独立传输库XLong（降龙）的持续改进，以及对实时云渲染流程的进一步完善。这些进步不仅提升了LarkXR的性能，也为「Paraverse平行云」在实时云渲染技术的优化方面的未来发展奠定了坚实基础。

LarkXR面向云VR场景推出了更优化的传输控制框架XLong(降龙）。XLong在传输控制的层次上打破了渲染、编码与网络之间的藩篱，从全局的视角更为合理的对传输过程进行决策控制，能够尽最大可能的优化帧内和帧间的传输延迟，进一步提高云VR场景下LarkXR的适应能力。

传统的云渲染产品一般是基于网络带宽的估计来动态进行码率分配、调整视频编码器的目标码率。但视频编码器的输出粒度是以帧为单位，由于视频场景的动态变化特性，其输出的码率和分配的码率无法有效适配，从而导致编码器出现频繁的overshoot或undershoot现象。这一现象会引起延迟陡增或者带宽探测不准确等一系列的问题。LarkXR在传统的云渲染流程的基础上，建立了视频编码、调速队列、传输控制和带宽估计的一体化监控机制，能够基于当前的传输反馈、调速队列状态、带宽估计结果、编码器的输出特性来进行更好的目标优化，有效的缓解延迟增大等一系列问题。通过一系列的研发工作，「Paraverse平行云」在深化对实时云渲染问题本质的理解方面迈出了重要一步，能够更灵活地调整和优化相关组件与流程，以更好地适应不同的应用场景和需求。这些技术进步不仅展示了「Paraverse平行云」在实时云渲染技术领域的领先地位，也为整个行业在实时云渲染解决方案的改进与优化上提供了新的视角和方法。随着这些技术的不断发展和应用，我们可以期待在数字平行世界的探索和体验中获得更高质量和更加丰富的视觉效果。