点击上方“LiveVideoStack”关注我们
随着移动互联网时代的到来,短视频成为了最流行的内容载体,而内容的产生离不开视频剪辑与特效创作工具。本次LiveVideoStackCon 2021 音视频技术大会 北京站,我们邀请到了RingCentral Video 移动端架构师——阮景雄,他向我们分享了AVFoundation视频剪辑框架,以及VideoLab框架的设计与实现。
文 | 阮景雄
整理 | LiveVideoStack
大家好,我是来自RingCentral的阮景雄,今天分享的主题是,高性能且灵活的iOS视频剪辑与特效开源框架VideoLab。
今天的分享主要包含以上六个方面,首先会对个人及公司做个简介,其次会介绍VideoLab是什么,第三点会介绍VideoLab的技术选型,第四点介绍AVFoundation框架,接着会介绍VideoLab的设计与实现,最后会介绍VideoLab后续的计划。
1. 个人及公司简介
首先,先介绍下个人及公司。
我是2013年毕业入职美图,在2015年开始担任美图美拍iOS的负责人,在去年7月份入职了RingCentral,职位是移动端架构师。在美图 7 年期间,在视频处理、视频采集、视频播放、直播、社区等几个领域都有涉猎。在RingCentral,负责的业务主要是移动端的架构和iOS平台模块化的演进。
接着简单介绍下RingCentral,从右边的图可以看出我们公司主要包含 Message/Video/Phone三块业务。Message是最右下角的IM聊天,Video是视频会议,Phone是最早的打电话功能。我们公司连续七年获得统一通信及服务的领导者,总部位于美国硅谷,铃胜中国成立于 2011,目前在杭州,厦门,香港均有办公室。
2. VideoLab 是什么?
接着让我们来聊下VideoLab是什么?
首先,来看一些关键字:高性能,灵活,视频剪辑,特效,开源框架,iOS,Swift,Metal,AVFoundation。这些关键字组合成一块就解释了VideoLab是什么。
让我们来看下当前已有的一些Feature,当前已经支持了高性能实时剪辑与导出,高自由度组合视频、图片、音频,支持音频音高设置、音量调节,支持CALayer矢量动画及复杂的文字动画,支持关键帧动画,支持类似于After Effect的预合成,支持转场,支持自定义各类特效。
让我们来看下一些Gif的示例,第一张图片是多图层的一个示例,组合了三个视频,一张图片。第二张是一个拆字的文字动画。第三张是渐隐渐显加Transform的关键帧动画。第四张是类似AE里预合成的动画。第五张是zoom blur转场的示例。
3. 框架技术选型