音视频相关知识

      DEMUX是Demultiplexer的缩写，中文意思是解复用器。主要作用是将多路信号分解恢复成多个原来信号的设备，即分离一个文件中的视频部分或音频部分。软件中的DEMUX是该设备的驱动参数设置接口。

MUX是Multiplex的缩写，意为“多路传输”，其实就是“混流”、“封装”的意思，是指把视频素材和音频素材封装到一个单独的文件中。

注意：

muxing与demuxing的整个过程，都不对原来的视频、音频或字幕重新编码。混流（封装、打包）后的文件，可以通过分离（分解、解包）操作，获得与原始素材一摸一样的独立的视频、音频和字幕文件。

 

编码(encoding) :指的是通过一定协议或规则把一段声音或图像转化成计算机数字文件的过程。用来执行编码工作的软件叫“编码器”（Coder或Encoder）；

解码(decoding)：把编码过的媒体文件重新转化成声音或图像。用来执行解码工作的软件叫“解码器”。

声音与图像是两种不同的媒体，它们分别对应人的两种不同感官。作为不同的媒体，我们只能用专门针对声音的软件或是专门针对视频的软件去分别分析处理音频流（Audio Stream）与视频流（Video Stream）。

 

     所谓“合成”，只是把音频流和视频流用一个容器文件（Container）封装起来，其实里面还是各自独立的。我们在播放视频文件的时候总是先调用分离器（Splitter），将封装合成的视频“分离”成独立的音频和视频码流，然后才调用解码器对这些独立的音频流和视频流进行解码输出。

 

以媒体播放器里面播放mp4文件为例：

1.播放器打开视频源文件

2.播放器调用分离器将视频文件分解为单独的音频流和视频流

3.播放器调用音频解码器对音频流进行解码，同时调用视频解码器对视频流进行解码

4.播放器依据同样的时间线将解码后的音频流和视频流输出到播放窗口并使之保持同步

 

Filter（滤镜）

一、分离器：

1、MPEG2 TS分离器:

月光（全称Moonlight-Elecard MPEG2 Demultiplexer），兼容性非常好，是首选的MPEG2分离器。

Gabest（就是MpegSplitter），MPC的作者Gabest编写的分离器。

NVIDIA Transport Demux（nVidia自家的分离器），是PureVideo家族成员之一，只能配合自家族的视频音频解码器，配合N卡比较好。

2、H264的分离器:

常见的有Gabest MP4分离器，就是MP4splitter，也是Gabest编写的，Halli的分离器和NDigital分离器等。

3、HD-WMV的分离器:

 

二、视频解码器

1、MPEG2视频解码器:

     winDVD的视频解码器：InterVideo Video Decoder

     PowerDVD的MPEG2视频解码器：CyberLink DTV Video/SPFilter 和 CyberLink Video/SP和CyberLink Video/SP Filter

     月光视频解码器：Moonlight-Elecard MPEG2 Video Decoder为3.X版本和4.0X版本，名为Elecard MPEG-2 Video Decoder

     低端电脑推荐使用Sonic Cinemastervideo，画质一般，强项是能打开硬件加速

     PureVideo家族中的MPEG2视频解码器NVIDIA Video Decoder，只能用于N卡6、7系列的显卡上

 

2、H264的视频解码器

     CoreAVC的H264视频解码器：CoreAVC DirectShow Video Decoder

    月光的H264解码器，全称为Moonlight H264 Video Decoder

     ffdshow的解码器，全称为ffdshow MPEG-4 Video Decoder

 

3、HD-WMV

只能用上微软自家的解码器，N卡6、7系以上能打开加速

HDTV视频解码cpu占用很高

 

4、音频解码器

ffdsshow，月光音频解码器、WinDVD的音频解码器、PowerDVD的音频解码器、Ac3Filter音频解码器

 

音视频处理的一般流程

1.数据采集：

摄像机及拾音器搜集视频及音频数据（原始数据）

摄像机：CCD、CMOS

拾音器：声电转换装置（咪头）、音频放大电路

 

2.数据编码：

使用相关硬件或软件对音视频原始数据进行编码处理（数字化）及加工（如音视频混合、打包、封装灯），得到可用的音视频数据

编码方式：CBR、VBR

编码格式

视频：H.265、H.264、MPEG-4等，封装容器有TS、MKV、AVI、MP4等

音频：G.711u、AAC、Opus等，封装有MP3、OGG、AAC等

 

3、数据传输

将编码完成后的音频数据进行传输

传输协议：RTP与RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）

控制信令：SIP和SDP、SNMP

 

 

4、解码数据

 

5、播放显示