2022.11.04 更新
1、关于h264 novnc 软解码
上一篇中实现了novnc h264的webassembly软解码,kvm功能 运行一切正常,但帧率较低,且cpu负载相对较高,google一圈以后才得知,由于webassembly运行于沙盒环境,无法调用gpu的硬解码,只能靠CPU软解H264,性能受CPU影响严重,实际测试也通过打印时间戳发现CPU解码时间在30~50ms不等,严重拖累了帧率(上一篇中有说明)。
于是进一步寻求web硬件方案,因水平所限,不是特别懂web技术,查询了一堆资料信息后才得知,要想实现浏览器硬解H264,只有通过mse的html 5 video tag以流媒体方式实现硬解码,但此方案需要对H264的帧添加封装“fMP4 fragment”,对于novnc已经解出每一帧的H264裸流来说,及其不友好。
好在山穷水尽疑无路,柳暗花明又一村,继续相关查询,发现google浏览器从98版本开始推出了最新的webcodec技术,此版本之后的浏览器直接提供浏览器硬编解码的API,供开发者调用,可以直接解析H264的每一帧裸流。效果十分不错,官方演示demo如下:
于是参考官方demo,移植进novnc代码当中,保留原来的webassembly软解码,在支持webcodec的浏览器上用webcodec硬解码,在不支持webcodec的浏览器继续使用webassemble软解码,效果如下:
可以看到在不支持webcodec的搜狗浏览器上,完全靠CPU软解码,浏览器占用CPU及其的高,帧率通常在10~20帧上下。
而在支持webcodec的谷歌浏览器上,已经正常使用GPU解码,浏览器CPU占用很低,帧率也提高到了40帧左右,效果十分的不错。
合入openbmc原生web中,效果如下:
webcodec提供了API直接调用浏览器硬解码,极大方便了项目开发,谷歌最新的beta版浏览器已经支持对H265的硬编解码,如果想进一步降低带宽使用,后续可以考虑rock3a上使用H265的硬编码,浏览器直接调用webcodec的h265硬解码,不过为了兼容普通不支持webcodec技术的浏览器可能还是需要添加上h265的webassembly软解码,目前来说H264已经满足项目使用了,后续有需求再来研究,H264的编解码就先到这里了。