短视频SDK架构设计实践

 短视频发展史

图 1

图 1 所示是短视频及直播的发展史，众所周知，2016 年是直播元年，在这期间诞生了很多直播平台，比如熊猫、映客、斗鱼等；而在 2017 年，短视频的火爆程度并不亚于直播，可能大家都以为短视频是从 2017 年开始火爆起来的，但其实早在 2015 年就已经诞生出快手、秒拍、美拍等短视频 APP。当时我正好在 YY 从事短视频 APP 相关的工作，来到七牛后，在客户端团队先后参与直播、连麦 SDK 的开发，后面开始主研短视频 SDK，致力做最优秀最好用的短视频    SDK。

图 2

2016 年中国移动短视频用户数为 1.5 亿，今年预计会达到 2.4 亿，增长率高达 58.2%，可见短视频的热度在一直提升；近几年，短视频的生产模式在不断演进，从 UGC 到 PGC，再到最新的 MCN（Multi-Channel Network），内容的产能和质量均得到了巨大提升。

图 2 所示是短视频在各个行业的综合应用。

研发短视频 APP 的难点

前面介绍完有关短视频的历史以及发展趋势，下面着重介绍一下关于短视频开发需要的预备知识及难点：

1、音视频领域固有门槛

深刻理解音视频编码格式 H.264 和 AAC 的编码细节；混音时如何将两个音频调整到一致的参数，使用什么样的算法去混合等等。

2、图形图像、OpenGL 处理

摄像头预览数据，图像处理，音视频编解码都需要了解 RGB 和 YUV 色彩空间的数据格式，以及它们之间转换的方式等等；其中部分操作可以利用更高效的 OpenGL 去完成，如美颜滤镜，图层混合，放大/缩小，旋转，还有图像裁剪等等。

3、平台相关

要对相应平台的摄像头、麦克风、编解码、多媒体处理等 API 十分熟悉，否则它们的一些坑会耗费你大量时间。

4、高级