本以为服务器端改造完硬编码,客户端升级完解码功能之后,一切也就该收尾了,可没成想如鱼哽喉卡住了,客户端播放视频画面,当服务器端窗口有快速移动的时候,客户端显示窗口边缘会产生抖动(不够顺滑流畅),分析其原因:
1、服务器端视频编码问题
2、客户端视频解码问题
3、网络数据丢包问题
4、客户端渲染问题
5、其它问题
只能逐一排查了。在此之前,我完成了二件事,其一是编写了一个流媒体服务器,其二采用SDL库编写了一个实时视频流播放器,均是为后面的排查工作做铺垫。
问题1、服务器视频编码问题
将硬编码出来的视频流经过流媒体服务器转发,然后通过VLC播放,图像流畅不抖动,说明了硬编码出来的视频流是没有问题的。
问题2、客户端视频解码问题
将解码后的YUV或RGBA数据库经过SDL播放器渲染出来,图像流畅不抖动,说明了解码出来的视频流是没有问题的。
问题3、网络数据丢包问题
将服务器发送之前的数据包大小和序号,与客户端接受到的数据包大小和需要做对比,数据一致,且将网络接收的视频流经过流媒体服务器转发,然后通过VLC播放,图像流畅不抖动,说明了网络接受也不存在丢包问题。
问题4、客户端渲染问题
客户端解码流程:
H264Decoder::process -> DecoderOfRectangle::copy -> DecoderOfRectangle::notify -> FbUpdateNotifier::onUpdate -> FbUpdateNotifier::execute -> m_adapter->onFrameBufferUpdate
分阶段,通过SDL播放视频流,发现前4个步骤里面播放图像都流畅不抖动,问题点锁定在了FbUpdateNotifier::execute,经过千锤百炼实验,最终确定方案将视频渲染m_adapter->onFrameBufferUpdate独立执行,不再在线程函数FbUpdateNotifier::execute里面调用,而是暂时解码完成之后直接调用,最终图像抖动问题得以完美解决。