方案概述
- 联合视频解码、与视频的AI分割/检测处理,提升视频AI处理实时性;
- 参考论文:https://ieeexplore.ieee.org/abstract/document/9251974
算法步骤
- 解码I/P关键帧,获取B关键帧的运动矢量;
- 将NN-L (ROI SegNet)模型,应用于I/P帧,获得参考分割结果;
- 利用参考分割结果、与运动矢量,重建B帧的分割结果;
- 将I/P帧分割结果、与B帧重建分割结果,组成三通道Tensor、送入NN-S执行Refine,消除边界模糊;
主要特点
- 避免了对B帧的直接分割;由于视频编码流中,B帧占比较高,因此VR-DANN可节省大量的计算开销;
- 由于以Macro-block为基本单元,B帧重建分割结果存在边界模糊,需要通过NN-S执行Refine;
- 相比于传统的抽帧解码、以及解码后独立的AI处理,该方法充分利用编码信息(运动矢量、残差)实现了逐帧AI处理,具备较高的计算效率,且减少了信息丢失/浪费;
- 为VR-DANN设计了硬件加速器,在同一个软硬件系统当中,高效率实现了视频分割/检测;