WebRTC Windows端推1080P/30帧优化

1 背景

Windows端的浏览器(例如Chrome)推1080P/30帧在普通机器上应该是可以的，但是默认的OpenH264软编CPU占用较高，据说在某些特定机器的某些编码参数下可以触发硬件编码，可以有效降低CPU占用。然而这里专指Native，不是浏览器。

2 WebRTC版本

66

3 测试

3.1 测试环境

3.1.1 硬件

设备	信息
CPU	Intel® Core™ i5-7200U CPU @ 2.50GHz，2701 Mhz，2 个内核，4 个逻辑处理器
显卡	笔记本集成显卡，Intel® HD Graphics 620
摄像头	HD Pro Webcam C920，最大支持1080P

3.1.2 软件

Win10，OBS，WebRTC。

3.2 测试内容/数据

推流参数：

• H264 Base Profile；
• 1080P；
• 30FPS；
• 4M码率。

采集	编码	CPU	软编/硬编	备注
OBS DS D3D	OBS x264 preset:ultrafast	40%	软编	使用OBS集成WebRTC测试，显示的是OBS的CPU，可能包含了图片预处理的CPU占用。
OBS DS D3D	OBS qsv preset:balance	24%	硬编	使用OBS集成WebRTC测试，显示的是OBS的CPU，可能包含了图片预处理的CPU占用。
WebRTC DS	OBS x264 preset:ultrafast	49%	软编
WebRTC DS	OBS qsv preset:balance	37%	硬编
WebRTC DS	WebRTC OpenH264 Base Profile	58%	软编

4 一些分析

• WebRTC内部默认使用DirectShow来操作摄像头，根据要求的参数，输出了1920*1080的MJPG格式(MJPG格式的最大帧率为30)，是一种压缩格式，内部又用软件解码成YUV，这个环节占用了大量的CPU，而另外一种输出格式YUY2，无需解压，但帧率只支持到5，可能是摄像头对USB带宽的考虑；
• OBS的摄像头采集可以设置分辨率、帧率(不一定成功)，但是仍然受摄像头本身支持的能力限制，比如我使用的这个摄像头，就无法设置19201080 30FPS的输出。默认情况下，OBS输出了640480 30FPS的YUY2图像，但是贴到1920*1080的画布上作为整体最终的输出。摄像头输出图像跟场景中的其他元素送入D3D进行纹理渲染，最后从纹理生成的图像转成NV12，实现了硬件加速，并且没有解压过程，CPU占用很低，同时能够输出足够的帧率；
• 同样的环境下，x264的性能比OpenH264高。

5 结论

目前看最佳的组合是使用OBS基于硬件加速的采集、编码，WebRTC自带的这些模块性能相比之下逊色不少。
但是，从OBS的输出原理来看，实际上需要走完采集、渲染的Pipeline，然后再从纹理下载输出图像，想把采集模块摘出来单独使用并不简单，只有编码模块依赖比较少，比较独立。