音视频流媒体系统简述

概述
    本系列文章包含一个完整嵌入式音视频流媒体系统实现方案。主要包括音视频采集、编解码、编解封装、传输、播放渲染几个部分。

 

数据采集
    主要是音视频原始数据的采集。从物理上来说，音频是一种因震动而形成的机械波。音频采集即是将物理波转换为电信号再转换成二进制的音频数据的过程，而采集到的原始音频数据即称为PCM数据。视频实际上是顺序呈现出来的一幅幅连续的静态图像。视频采集即是连续不断的采集这些静止图像的过程，一般将这一幅幅的图像称为帧（Image Frame）。图像的采集即是将光信号转换为二进制的图像帧的过程，一般将采集得到的原始图像数据保存为YUV格式数据。

编码
    由于采集的原始音视频数据量是很大的，所以需要将采集到的原始音视频数据进行压缩，以便在网络上进行传输或本地保存。压缩的原理类似文本保存，例如000000000000000000 字符串，实际就是n个0字符，完全可以用最简单的描述来说明这组数据，如n个0字符，这样大概率会节约大量的空间。而音视频的压缩编码原理基本思路是类似的。常见的视频压缩有帧内压缩和帧间压缩。

封装
    我们知道流媒体是可以流式播放，其中流式主要是指传输是流动的。而且视频帧可以边传输，边解码播放。如果我们希望将播放的内容保存到磁盘上，就必须要有一种文件格式来组织这些数据，以一定的结构来保存这些音视频数据。这样在播放或者渲染的时候，就能准确的知道音视频数据的大小，时长，编码等信息。现存有很多种媒体文件，例如MP4，MP3，AVI，RMVB等等。
        
传输
    经过采集，编码，封装我们现在已经获得了音视频数据帧，但是一般播放或渲染的一定不是在采集编码的现场，否则就不需要传输了。传输的过程就是将编码后的音视频数据通过网络传输到希望观看的观众那里。数据从一个地方传递到另一个地方这个过程就是传输。传输过程中最重要的当然是流媒体协议了，目前流行的流媒体协议有RTMP，RTSP，HLS等。

解封装

    经过传输得到的数据，一般是经过封装的数据，必须安装封装格式进行进行逆向处理才能得到音视频数据。

解码
    解封装得到的数据还需要还原成编码之前的原始数据才能播放显示，这个还原过程就是解码的过程。

渲染
    渲染的过程就是音视频播放出来的过程，与采集的时候一样，实际上这是将采集的原始音视频数据经过模数转换转换成物理信号，音频信号通过扬声器播放出来，视频信号通过显示器显示出来。