多媒体视频处理的一些基本概念

1.帧

    在最早的电影里面，一幅静止的图像被称做一"帧(Frame)"，影片里的画面是每一秒钟有24帧，为什么是24帧，这个数字是怎么来的，因为人类眼睛的视觉暂留现象正好符合每秒24帧的标准，所以用多也没有意义还会浪费电影胶片，增加成本，所以就是24帧。

 

2.帧与包

    打个比方，我们在邮局邮寄产品时，虽然产品本身带有自己的包装盒，但是在邮寄的时候只用产品原包装盒来包装显然是不行的。必须把内装产品的包装盒放到一个邮局指定的专用纸箱里，这样才能够邮寄。这里，产品包装盒相当于数据包，里面放着的产品相当于可用的数据，而专用纸箱就相当于帧，且一个帧中只有一个数据包。

 

3. NTSC制式

    NTSC(NationalTelevision System Committee)制式是1952年由美国国家电视制定委员会制定的彩色电视广播标准。美国、加拿大、以及中国台湾、韩国、菲律宾等国家采用的是这种制式。这种制式的彩色带宽为3.58Mhz，伴音带宽为6.0Mhz，每秒30帧画面。

 

4. PAL制式

    PAL(PhaseAlternating Line)，是1965年制定的电视制，主要应用于中国、香港、中东地区和欧洲一带。这种制式的彩色带宽为4.43Mhz伴音带宽为6.5Mhz，每秒25帧画面，还有一种是SECAM制式德国地区采用的制式,应用比较少。

 

5. 为何NTSC制为每秒30帧,而PAL制式每秒25帧？

    这是因为采用NTSC的国家的市电为110V60HZ，所以电视里的场频信号直接就取样了交流电源的频率60HZ，因为两场组成一帧,所以60除以2等于30正好就是电视的帧数了，而我国的市电为220V50HZ，所以原因同上就是每秒25帧了。

 

7.逐行与隔行

    电视的每帧画面是由若干条水平方向的扫描线组成的、PAL制为625行/帧，NTSC制为525行/帧。如果这一帧画面中所有的行是从上到下一行接一行地连续完成的，或者说扫描顺序是1、2、3……525，我们就称这种扫描方式为逐行扫描。

    实际上，普通电视的一帧画面需要由两遍扫描来完成，第一遍只扫描奇数行，即第l、3、5……525行，第二遍扫描则只扫描偶数行，即第2、4、6……524行，这种扫描方式就是隔行扫描。一幅只含奇数行或偶数行的画面称为一“场(Field)”，其中只含奇数行的场称为奇数场或前场(Top Field)， 只含偶数行的场称为偶数场或后场(Bottom Field)。也就是说一个奇数场加上一个偶数场等于一帧(一幅图象)。

 

8.NALU

      NALU(Network Abstract Layer Unit)：H264标准中的比特流是以NAL为单位，每个NAL单元包含一个RBSP（rawbyte sequence payload，原始字节序列载荷），NALU的头信息定义了RBSP所属类型。类型一般包括序列参数集（SPS）、图像参数集（PPS）、增强信息（SEI）、条带（Slice）等，其中，SPS和PPS属于参数集，两标准采用参数集机制是为了将一些主要的序列、图像参数（解码图像尺寸、片组数、参考帧数、量化和滤波参数标记等）与其他参数分离，通过解码器先解码出来。此外，为了增强图像的清晰度，AVS-M添加了图像头（Picturehead）信息。读取NALU流程中，每个NALU前有一个起始码0x000001，为防止内部0x000001序列竞争，H.264编码器在最后一字节前插入一个新的字节——0x03，所以解码器检测到该序列时，需将0x03删掉，而AVS-M只需识别出起始码0x000001。

 

9.主码流与次码流

  hi3515中，大小码流使用相同的源图像，大码流直接由源图像编码得到，小码流由源图像缩小后编码得到 ,小码流编码图像支持的最大尺寸为 CIF。

    主码流用于本地存储，子码流适用于图像在低带宽网络上传输。

10.ES流、PES流、PS流以及TS流

  ES流（Elementary Stream）由三部分组成：

     1）经MPEG-2视频编码器编码后的图像数据流；

     2）经MPEG-2音频编码器编码后的声音数据流；

     3）其他编码数据流；

   PES流（Packetized ElementaryStream）：PES流是ES流经过PES打包器处理后形成的数据流，在这个过程中完成了将ES流分组、打包、加入包头信息等操作（对ES流的第一次打包）。PES流的基本单位是PES包。

   节目流（Program Stream简称PS）与传输流（Transport Stream简称TS）是数字视频系统中的两类数据码流，由MPEG-2系统层定义，H.264采用与MPEG-2相同的系统层，因而也采用PS/TS两类码流，TS流与PS流的区别在于TS流的包结构是固定长度的,而PS流的包结构是可变长度的。PS包由于长度是变化的,一旦丢失某一PS包的同步信息,接收机就会进入失步状态,从而导致严重的信息丢失事件。而TS码流由于采用了固定长度的包结构,当传输误码破坏了某一TS包的同步信息时,接收机可在固定的位置检测它后面包中的同步信息,从而恢复同步,避免了信息丢失。因此在信道环境较为恶劣、传输误码较高时一般采用TS码流,而在信环境较好、传输误码较低时一般采用PS码流。

 

11.视频输入接口模式

Hi3520/Hi3515 芯片支持多种视频接口协议，且提供灵活多样的配置与各种外围codec 对接。支持的接口时序包括 ITU-R BT.656、ITU-R BT.601、ITU-R BT.1120、digital camera等。

4 个视频输入设备都能支持 ITU-R BT.656接口模式，但只有设备 0 和设备2才支持其他几种接口模式。支持 BT.656接口模式时，又能支持几种不同的多路复用工作模式，例如 54M2D1、54M 4CIF以及 108M 4D1。

 

12.视频输入通道

视频输入通道与物理上的实际视频采集通道一一对应，视频输入通道归属于视频输入设备，视频输入设备的接口模式决定了此设备下能支持的通道个数，一个设备最大支持 4 个通道，依次用 ViChn0、ViChn1、ViChn2、ViChn3 标示；除了有多路复用功能的 BT.656接口模式能支持多个通道外，其他接口模式时每个设备下只能支持1个通道。

 

13.分辨率

分辨率主要有以下 3 种概念：

−  设备分辨率指该设备的输出有效像素点数，由设备时序决定。

−  显示分辨率指画面在显示设备上的有效显示区域。

−  图像分辨率指图像本身的有效像素点数。

 

14.通道优先级

当同一输出设备上有多个通道同时输出显示时，按照优先级顺序对输出图像进行叠加。当各个通道的画面有重叠区域时，优先级高的图像显示在上层。如果各个通道优先级一致，则通道号越大的默认优先级越高。

 

15.通道组

    通道组是指芯片能够同时处理的编码通道的集合，相当于一个容器。一个通道组最多可同时包含1路主码流（H.264/MJPEG）、1路次码流（H.264/MJPEG） ，或者仅包含1路 JPEG抓拍（即 JPEG抓拍时，不允许包含任何其他通道） ，或者 1 路MPEG4 编码通道。

 

16. Overlay Region

    视频叠加区域，针对码流里打的叠加区域，即通常所说的码流OSD，即往视频上打字/Logo。同时，还有视频遮挡区域和软件视频叠加区域的选择。

 

17.宏块

将图像划分为 16*16(以像素为单位)大小的块，每一块称为一个宏块。

18.移动侦测（Motion Detection）

    又称运动检测，是检测正在视频编码的图像是否发生亮度变化以及相应的运动向量。移动侦测功能以宏块为最小单位，计算指定图像的宏块在指定图像间隔内的亮度变化和运动向量。