VR-DANN: 联合视频解码与AI处理

方案概述

• 联合视频解码、与视频的AI分割/检测处理，提升视频AI处理实时性；
• 参考论文：https://ieeexplore.ieee.org/abstract/document/9251974

算法步骤

1. 解码I/P关键帧，获取B关键帧的运动矢量；
2. 将NN-L (ROI SegNet)模型，应用于I/P帧，获得参考分割结果；
3. 利用参考分割结果、与运动矢量，重建B帧的分割结果；
4. 将I/P帧分割结果、与B帧重建分割结果，组成三通道Tensor、送入NN-S执行Refine，消除边界模糊；

主要特点

• 避免了对B帧的直接分割；由于视频编码流中，B帧占比较高，因此VR-DANN可节省大量的计算开销；
• 由于以Macro-block为基本单元，B帧重建分割结果存在边界模糊，需要通过NN-S执行Refine；
• 相比于传统的抽帧解码、以及解码后独立的AI处理，该方法充分利用编码信息（运动矢量、残差）实现了逐帧AI处理，具备较高的计算效率，且减少了信息丢失/浪费；
• 为VR-DANN设计了硬件加速器，在同一个软硬件系统当中，高效率实现了视频分割/检测；