FFmpeg图像处理深度应用

本演讲主要讲解如何通过FFmpeg作为一个主要的接口，将OpenGL、OpenCV以及诸如Tensorflow等AI框架以第三方库的形式，作为FFmpeg的一个模块进行快速的业务开发，从而简化音视频图像处理的开发流程，为听众打开一个新思路。

文 / 刘歧

整理 / LiveVideoStack

审校/ 赵军

感谢大家关注FFmpeg在OnVideo以及AI方面的一些工作，我是刘歧，是OnVideo联合创始人的同时也担任技术负责人，同时也是FFmpeg的官方顾问，FFmpeg GSoC 2019 Mentor，FFmpeg决策委员会的委员，以及腾讯云TVP。我主要的兴趣在嵌入式开发、图形图像及音视频流媒体处理、分布式系统设计等领域。FFmpeg官方有我的联系方式，大家有问题可以和我随时交流。关于FFmpeg深度学习场景下的应用，目前看来，颇具价值且实用。

1. 契机

首先介绍一下我们的公司，OnVideo是一个音视频在线编辑云平台，上图是制作人员的处理过程中效果预览这个功能的一个展示。OnVideo云平台可以支持很多的图像处理相关功能，但实际上它并不限于视频和图片相关，它大量的使用了FFmpeg的一些内置功能以及AI相关的框架与算法，其具体功能大约如下图所示：

另外一个需要附带提及的事情是我在2019年Google Summer of Code期间指导学生做的一个深度学习相关FFmpeg Mentor Project，这是一个基于神经网络实现对图像进行去雨点、去雾的功能（本质上这两个是类似的功能），最终实现并放入了FFmpeg。

在做FFmpeg GSOC项目期间，首先和有意愿的学生事先沟通，然后在FFmpeg社区以及GSOC上申请立项，之后是与学生沟通要达到去雨点