dnn_processing是FFmpeg中的一个视频filter,可以支持所有基于深度学习模型的图像处理算法,即输入和输出都是AVFrame,而处理过程使用的是深度学习模型。为什么要开发这样一个filter,因为作为FFmpeg DNN模块的maintainer,希望可以有更多的人来使用这个模块,提出意见和批评,乃至发出patch来改善这个模块,dnn_processing就是一个很好的使用者入手功能。至于支持视频分析功能的filter,则还在计划中,不过我不准备太着急开始编码,一来还要考虑如何支持异步建立流水线,如何启用batch size,从而最大化的用好系统的并行计算能力(感谢和pengfei的讨论);二来则是希望再等待DNN模块一段时间,以更好的夯实基础,完善DNN接口,完善后端支持。
在上一篇点击进入介绍了如何使用dnn_processing来完成针对灰度图的sobel算子的调用,其输入输出的格式是grayf32。本篇将介绍dnn_processing如何完成sr(超分辨率)和derain(去除雨点)这两个filter的功能,从而演示对yuv和rgb格式的支持。
-
<