网易视频云技术分享：移动端播放器框架搭建

一、概述
　　目前，移动互联网技术飞速发展，影响着人们生活的各个方面。据有关数据统计，2016年中国的移动互联网用户数已经超过8亿。旅游，教育，购物，娱乐等方面都与之紧密联系。其中最火的当属移动直播，各种直播APP铺天盖地，而播放器是其中非常重要的部分，播放器的好坏直接影响到直播的用户体验。
　　如何打造一个适合移动直播的播放器呢？首先要保证功能强大，其次兼容性要好，能够适用于绝大多数的手机，最后要保证轻量级，因为移动设备的内存和磁盘容量都是有限的。
　　二、播放器框架
　　对于一个播放器来说，需要包含如下几个模块：
　　1、初始化模块
　　该模块中主要做一些初始化的工作，包括播放器实例的创建，消息机制和
　　线程的创建，以及相关全局变量的初始化。 
　　2、输入模块
　　输入模块包含请求流媒体数据和对流媒体数据进行分解(Demux)两个部分。
　　对于移动直播，请求流媒体数据需要支持RTMP、HTTP和HLS协议。Demux模块需要支持诸如FLV、TS等格式的解析，并将分解后的音视频裸数据存放在相应的缓冲队列中，用于后续的解码。
　　3、解码模块
　　解码模块包含音频解码模块和视频解码模块，音视频解码需要分别在两个
　　线程中进行，从输入模块的缓冲队列中获取音视频裸数据，传入对应的解码器进行解码，并将解码后的音视频数据帧存入相应的队列中用于显示。其中解码可以采用软件解码和硬件解码两种方式：软件解码兼容性可容错性较好，但是耗CPU性能；硬件解码依赖于系统，Android采用MediaCodec(Android 4.1+)，iOS采用VideoToolBox(iOS 8.0+)。兼容性和容错性较差，好处是不耗CPU。
　　5、显示模块
　　该模块主要将解码后的音视频数据帧展现出来。音频和视频的显示也是分别
　　由两个线程来执行，分别从解码后的音视频帧队列中获取音视频帧进行播放，Android端音频可以用AudioTrack或OpenSL ES进行播放，视频可以用NativeWindow和Surface进行播放；iOS端音频可以用AudioQueue或AudioUnit进行播放，视频可以用OpenGL ES进行播放。
　　6、事物处理模块
　　该模块主要是对播放器进行一些逻辑控制，比如暂停，播放，seek，截图等操作，以及一些播放过程中一些消息的反馈。
　　
　　图1 播放器框架
　　三、说明
　　将上述6个模块有机的整合在一起，就可以完成一个播放器的开发，但是仅
　　仅这些还是不够的。由于移动设备的特殊性，我们可能在播放过程中突然来电，查看QQ、微信等消息，完成这些后希望播放还能够继续。这就需要播放器能够对这些操作有相应的应对措施。有些用户希望APP切入后台还能够继续播放，有些则不需要，这都需要我们做出相应的处理。并且移动设备的内存和磁盘空间较小，需要我们保证播放器功能完善的前提下包大小尽可能的小，我们可以对各个模块中所用到的处理引擎进行裁剪，只保留我们所需的功能，这样我们就可以保证APP的轻量级。
　　综上所述，我们不仅要保证底层音视频引擎高效的运转，也要保证上层逻辑处理能够满足移动设备的特性，这样我们就可以打造出一款功能完善，兼容性好的播放器。