电视原理速成(数字视频技术)

模拟彩色电视原理

NTSC制的优点

节省带宽：只用一个副载波实现对两个色差信号的传输，在解调端采用同步解调分离出红色差与蓝色差分量。

减少色度信号对亮度信号的干扰：去除了高频振荡的副载波。

传送黑白图像时色度信号为零，不存在对亮度信号的干扰。

频谱交错原理

亮度信号的频谱具有以行频及其各次谐波（即主谱线）为中心的谱线群结构，在各个谱线群之间存在着较大的频谱空隙；色差信号具有类似的频谱结构，只是带宽较窄。NTSC制利用视频图像信号的这种频谱特点，将由色差信号经正交平衡调幅形成的窄带色度信号叠加在亮度信号上，叠加后使色度信号的各谱线群正好插在亮度信号各谱线群的空隙中，实现色度信号和亮度信号的共用频带传输，这就是频谱交错原理。

频谱交错：为使亮度和色度信号频谱交错的间距最大，副载频采用半行频偏置 ——半行频的奇数倍。                                                  ，n为整数 为了减轻副载波对亮度的干扰，应尽量使副载频选在视频频谱的高端：其干扰亮度的光点不易被人眼察觉；使色度和亮度信号的主要能量分别位于视频的高、低两端，从而减轻两者的相互干扰。 色度信号上边带（约0.5MHz）的边界值不能超过视频信号的最高频率（4.2MHz），故副载频应低于3.7MHz。 在非线性视频检波时可能出现伴音载波与副载波的差拍干扰，因此要求两者的差频也等于半行频的奇数倍。

PAL制克服NTSC制相位敏感性的基本原理

采用逐行倒相正交平衡调幅的色度信号。 在解调时先经梳状滤波器分离，然后再同步检波； 利用视觉平均作用补偿小幅度串色所引起的彩色偏差。

PAL制的主要性能

① 克服了 NTSC制相位敏感的缺点。 ② PAL制采用1/4行频间置再加25 Hz确定副载波，有效地实现了亮度      信号与色度信号的频谱交错，因而有较好的兼容性。 ③ 梳状滤波器在分离色度信号的同时，使亮度串色的幅度也下降了      3dB，使彩色信噪比提高了3dB。 ④ 由于NTSC制是1/2行频间置， PAL制为 l/4行频间置。二者相比实    现PAL信号的亮色分离要比 NTSC制困难，且分离质量也较差。       ——由数字滤波解决 ⑤ 存在行顺序效应。

模拟彩色电视发射机幅频特性 

PAL制模拟彩色电视接收机

广播电视按其传输媒体的不同分为地面广播电视、有线电视和卫星直播电视三种方式。 

最基本额度接收机包括四个部分：信号通道、扫描电路、电源和主控系统

视频电视信号处理

①亮色分离； ②色同步信号与色度信号的分离； ③红、蓝色度信号分离； ④同步检波，将色度信号变换成色差信号； ⑤解码矩阵，将亮度信号、色差信号变换成3基色信号。 

亮色分离

 实现亮色分离有两种方法：频带分离法和频谱分离法。

频带分离法是使CVBS通过中心频率为彩色副载频的窄带陷波器，滤除色度信号的主要能量，从而分离出亮度信号。同时使CVBS通过中心频率为彩色副载频的带通滤波器，分离出色度信号。

色同步信号与色度信号的分离

由行同步脉冲经过一定的延时产生门控脉冲，控制交替导通的色同步消隐电路和色同步选通电路，使色度信号与色同步信号分开。

同步检波

红蓝色度信号的分离，同步检波，同步检波是通过乘以两个相位相差90度的载波，一个负载一个载人，然后完成一个同步检波，然后同步检波之后就把色度信号变成了色差信号，最后再经过一个解码电路，把色差信号和亮度信号转换成了RGB信号。因为我们最后用于显示的是RGB信号。

数字电视视频压缩编码原理

数字电视分类

清晰度：高清晰度电视、标准清晰度电视

传输途径：有线数字电视、卫星数字电视、地面数字电视 

视频数据格式采样点空间位置图

MPEG-2的视频格式

MPEG-2视频压缩编码标准，就是联合使用信息保持和信息非保持编码技术，实现了数据压缩率达50倍以上的高效编码。

为适应不同的数字电视体系，MPEG-2有4种视频格式，用级别（levels）加以划分；有5种不同的处理方法，用档次（profiles）加以划分。

预测编码原理

预测编码的基本原理就是利用图像数据的相关性，利用已传输的像素值对当前需要传输的像素值进行预测，然后对当前像素的实际值与预测值的差值（即预测误差）进行编码传输，而不是对当前像素值本身进行编码传输，以去除图像数据中的空间相关冗余或时间相关冗余。 

预测器可以是利用空间相关性的帧内预测器，也可以是利用时间相关性的帧间预测器。 预测编码也相应地分为帧内预测编码和帧间预测编码。联合使用帧内和帧间预测编码，特别是带运动补偿的帧间预测编码，已成为数字电视实现数据压缩的主要手段。

 I、P、B帧

在MPEG-2视频编码算法中，为便于联合运用帧内编码和帧间编码技术，将由一个个连续的电视画面组成的视频序列（Sequence）划分为许多图像组（GOP，Group of Picture），每个图像组由几帧至十几帧图像组成，在这些图像之间存在预测和生成关系。

图像组的第一帧图像是采用帧内预测编码的图像，称为I图像（Intra-Coded Picture）；

后面可包括数帧采用前向帧间预测编码的图像，称为P图像（Predictively-Coded Picture），P图像是以I图像或前一个P图像为参考图像进行帧间预测编码的；

在I图像与P图像或P图像与P图像之间可有数帧（通常为两帧）根据这前后两个图像进行双向预测编码的图像，称为B图像（Bidirectionally-Coded Picture）

 视频码流的分层结构

从高到低依次是视频序列（Sequence） 、图像组（GOP）、图像（Picture）、宏块条（Slice）、宏块层（Macroblock）及像块层（Block）。

 视频序列是指构成一段或整个电视节目的连续图像序列是随机选取节目的一个基本单元。

图像组 

GOP是由一个视频序列中连续的若干帧图像组成。每个GOP由一个I帧和一些P帧、B帧组成，GOP的第一帧一定为I帧。

帧重排

由于B帧是双向预测编码帧，所以需等前、后的参考帧编码后才能编码。而MPEG视频码流的传输要有利于解码器的解码，为此，MPEG视频编码器输出码流的帧顺序，即解码器输入码流的帧顺序，应不同于输入到编码器的源图像序列的帧顺序（也就是自然次序），必须进行重新排序；同理，解码器解码这种码流，送去显示的帧顺序也必须重新排列，使之恢复源图像帧顺序，这种过程称为帧重排。

 宏块

宏块是运动补偿预测的基本单元。

一个4∶2∶0的宏块由6个块组成，其中有4个亮度块、1个Cb块和1个Cr块。

一个4∶2∶2的宏块由8个块组成，其中有4个亮度块、2个Cb块和2个Cr块。

一个4∶4∶4的宏块由12个块组成，其中有4个亮度块、4个Cb块和4个Cr块。 

像块

像块是MPEG算法中最小的编码单元，它包含8×8个像素，并且是下面三种图像信息之一：亮度信号（Y）、色差信号Cb或Cr。像块是DCT的基本单元。像块层的数据包含8×8个像素的样值经DCT后所生成的DCT系数的编码码字。

I图像的帧内预测编码

首先对每一个8×8的像块进行二维离散余弦变换（DCT, Discrete Cosine Transform），将像块变换为由8×8个变换系数组成的系数块。位于系数块左上角的第一个系数是像块中8×8个像素的平均值，代表像块的直流分量，称为DC系数。帧内预测编码是对各个系数块的DC系数进行的，目的是去除在相邻像块的直流分量之间较强的相关性。 在预测方法上采取简单的前值预测。帧内预测是基于像条的，即只有在同一个像条内的DC系数才有预测和生成关系。

帧间预测编码 

帧间预测编码是以图像组为单位进行的。 

I图像是帧内编码图像，其编码不依赖于其它图像，同时它还是P图像、B图像编码和解码的参考图像。P图像是前向预测编码图像，像素的预测值取为前面与其相邻的I图像或P图像中相应的已编码像素值，即采用帧间运动补偿前值预测。B图像是双向预测编码图像，像素的预测值取为前后与其距离最近的I图像或P图像相应已编码像素值的加权平均，即采用帧间运动补偿前后平均预测，预测系数的取值与图像间的距离成反比。

变换编码原理

变换编码不直接对空间域图像数据进行编码，而是首先将空间域图像数据映射变换到另一个正交向量空间（变换域），得到一组变换系数，然后对这些变换系数进行量化和编码。

变换编码系统通常包括正交变换、变换系数选择和量化编码3个模块。

为了保证平稳性和相关性，同时也为了减少运算量，在变换编码中，一般在发送端的编码器中，先将一帧图像划分成若干个N×N像素的图像块，然后对每个图像块逐一进行变换编码，最后将各个图像块的编码比特流复合后再传输。在接收端，对收到的变换系数进行相应的逆变换，再恢复成图像数据。 

DCT变换 

 DCT变换过程看作是把一个图像块表示为基图像的线性组合，这些基图像是输入图像块的组成“频率”。DCT变换输出64个基图像的幅值即“DCT系数”，是输入图像块的“频谱”。64个变换系数中包括一个代表直流分量的“DC系数”和63个代表交流分量的“AC系数”。 

DCT系数的量化

 DCT系数的量化是基于限失真（Finite Distortion）编码理论，即允许DCT系数经量化后对图像造成一定的失真，只要这种失真在视觉所容许的容限之内。除以量化权重，向下取整

游程编码

游程编码（RLC，Run Length Coding）的思想是无损压缩，用适当的扫描方式将已量化的二维DCT系数矩阵变换为一维序列，所用的扫描方式应使序列中连零的数目尽量多，或者说使连零的游程尽量长，对游程的长度进行游程编码以替代逐个地传送这些零值，就能进一步实现数据压缩。 

先将已量化的矩阵进行Z形扫描变换成一维序列，然后再将一维序列转化为一个由二元数组（run,level）组成的数组序列，run表示连零的长度，level表示连零之后出现的非零值。 

MPEG-2视频编解码器

 H.264

H.264分为视频编码层（VCL）和网络抽象层（NAL）。

步骤：帧内/帧间预测、变换、量化、环路滤波、熵编码

帧内预测

H264中对一帧图像划分为宏块的方式来分别进行帧内预测，宏块可以预测相邻的宏块，那么同个宏块的像素就使用一种预测模式。 H264默认是使用16X16像素大小的区域作为一个宏块，其中亮度块为16x16，色度块为8x8，帧内预测中亮度块和色度块是分开独立进行预测的

对于4*4的宏块，帧内预测模式总共有9个。其中有8种方向模式和一种DC模式（左侧和上方参考点的平均值）。

16*16和8*8的宏块预测模式一样，都是有4种帧内预测模式：

帧间预测 

帧间预测主要是利用连续图像序列帧间的相关性，通过运动估计的预测编码方法来消除视频图像中的时间冗余信息。

为了进一步提高帧间预测的编码效率，H.264 增加了一些新的技术和方法，如可变尺寸和形状的宏块和亚宏块分割多参考帧等。

树状结构（可变尺寸）运动补偿

对大的分割尺寸而言，MV选择和分割类型只需少量的比特表示，但在多细节区域运动补偿的残差将有较高的能量；小尺寸分割运动补偿残差能量低，但需要较多的比特表征MV和分割选择。分割尺寸的选择会影响压缩性能，整体而言，大的分割尺寸适合平坦区域，而小的分割尺寸适合多细节区域。 

高精度的亚像素运动估计

H.264中对亮度样值采用l/4像素精度的运动估计，而在4:2:0的视频信号采样格式中，色度样值的水平和竖直间隔都是亮度样值的2倍，所以对色度样值而言，运动估计的精度达到l/8像素。 

多参考帧预测

H.264提供了可选的多参考帧预测功能，在运动估计过程中采用了多参考帧预测来提高预测精度。多参考帧预测就是在编解码端建立一个存储M个重建帧的缓存，当前的待编码块可以在缓存内的所有重建帧中寻找最优的匹配块进行运动补偿，以便更好地去除时间域的冗余。这样就提供了更好的编码性能，可以提高图像编码质量和压缩效率。 

 整数变换与量化

H.264的熵编码

基于上下文的自适应变长编码（CAVLC）

基于上下文的自适应二进制算术编码（CABAC）

SI/SP帧

H.264标准定义了SI（Switching I-Picture，切换I图像）和SP（Switching P-Picture，切换P图像）两种新的帧类型。 SP帧编码的基本原理同P帧类似，都是通过运动补偿预测来去除时间冗余；不同之处在于，SP帧编码允许在使用不同参考帧图像的情况下重建相同的帧，因此在许多应用中可以取代I帧，提高压缩效率。SI帧的编码方式类似I帧，都使用空间预测变换，它能够同样地重建一个对应的SP帧。 

SP帧分为主SP（Primary SP）和次SP（Secondary SP），主SP帧的参考帧和当前编码帧属于同一个码流，而次SP帧的参考帧与当前编码帧分别属于当前码流和待切换码流。

环路去块效应滤波器

H.264使用基于块的预测和编码，导致在解码后的图像块的边缘出现块效应，所以在解码时定义自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直块边缘，大大减少了方块效应。 

基于块编码有时会在解码图像中产生可见的块效应。如果边缘两侧像素值相差比较大，则通过滤波平滑。

H.265

H.265HEVC中使用了两种类型的像素自适应补偿技术：边缘补偿和区间补偿。

H.265采用了更加灵活的编码单元组织形式，编码单元，预测单元，变换单元。

数字电视传输原理

整个系统由三个子系统组成，它们是：

（1）信源编码和压缩；（2）业务复用和传送；（3）射频（RF, Radio Frequency）传输。

 业务复用和传送

把不同信息类型的比特流打成包，给每一个包以唯一的标识符（PID），将视频、音频和辅助数据比特流包时分复用组合成传送包（TSP） 

模拟电视采用频分复用解决多信源实时传送问题，数字电视采用时分复用解决多信源实时传送问题

数字电视码流的层次关系

ES（ Elementary Stream）基本流：直接从编码器输出的数据流，可以是视频数据流，音频数据流，或其他编码数据流。

PES（Packetized Elementary Stream）打包基本流：由ES流按视频帧或音频帧拆分打包形成。

PS（Program Stream）节目流：一个或几个具有公共时间基准的PES复用而成。适用于误码率小的传输环境。

TS（Transport Stream ）传输流：（不同时间基准）一个或几个不同的PES按一定长度截取、打包、复用而成。适合在有干扰的环境中传输。

PES包 

PES流的包的长度是可变的，一个PES流基本上就是一帧的数据跟根据I帧P帧B帧的编码不同，帧的大小不同数据是可变的。 

 TS包

188字节固定长度

包头（4字节）：包同步，包识别（PID），连续计数(具有相同PID的TS包0~15循环计数)，加扰控制等。

适配区（可变长度）：同步和定时(对27MHz系统时钟（STC）周期性抽样形成的节目时钟基准(PCR)，每100ms至少传送一次)；基本流的随机进入点指示——用于频道切换；本地节目插入指示。    

有效负载数据（最多184字节）。 每一个新的PES包需要启动一个新的TS包。 未被PES数据填满的TS包要用填充字节填满。

传送层业务信息描述 

MPEG-2定义了一组称为节目特定信息（Program Specific Information， PSI）的表。PSI表也被复用在TS中，接收机能根据PSI表找到这些节目对应的TS包并进行解码。

PSI包括节目关联表（Program Association Table，PAT）、节目映射表（Program Map Table，PMT）、条件接收表（Conditional Access Table，CAT）、网络信息表（Network Information Table，NIT）和传送流描述表（Transport Stream Description Table，TSDT）。

 节目关联表PAT：PID（包识别）为固定的0x0000，给出本传送流中共包含几套节目，并给出每套节目对应的PMT的PID。

节目映射表PMT：列出该套节目中的视频、音频等所在TS包的PID。

条件接收表CAT： PID为固定的0x0001，给出条件接收授权管理信息所在TS包的 PID。

网络信息表NIT： 给出广播网络中其他频道的调谐信息。

传送流描述表TSDT：PID为0x0002，包含了对于传送流中的节目及节目的视、音频内容的更具体描述。

电视接收端准备播放传送流中某一路节目时，软件控制流程。

（1）将解复用器过滤的PID值设为0000h，即PAT的PID，则可得到PAT的数据；

（2）分析PAT数据，得到传送流中包含的节目个数，每一路节目都对应一个PMT，PMT的PID在PAT中给出；

（3）欲播放某一路节目时，需要设置解复用器过滤的PID值为该路节目对应的PMT的PID，则可得到PMT的数据；

（4）分析PMT数据，可得到该路节目包含的视频、音频、数据各自所在传送包的PID；

（5）将解复用器过滤的PID值分别设置为视频、一路音频以及数据的传送包的PID，以便解复用器把各路PES送往相应的解码器。 

 ATSC数字电视制式

前向纠错信道编码

数字电视中的差错控制采用前向纠错方式，数字电视的前向纠错包括四个部分，即能量扩散（Energy Dispersal）、RS编码、交织（Interleaving）和卷积编码（Convolutional Coding）。

RS编码

 RS码是一种线性分组循环码，在ATSC制中使用的RS码为RS(207,187)，包括187个信息字节和20个校验字节，纠错能力为10个字节。它可看作是由在187个信息字节前加上48个“0”字节所编成的RS(255,235)码缩短而成的。

卷积编码

ATSC使用的是1/2编码率的4状态的卷积编码，它是输入一个比特，输出两个比特。

维特比译码：长度为L的bit序列，由于误码存在2^L条不同的可能路径。从所产生的各种可能路径中找出一条最大似然路径，使沿这条路径得到的序列与接收的码序列差别最小。

ATSC制维特比译码采用软判决(能获得2dB编码增益)，其最大似然路径是欧几里得距离为最小的路径。

交织

通过交织可将连续的误码分散到不同的纠错编码包中，使突发差错转变为处于纠错能力之内的随机差错，以充分发挥纠错编码的作用。

卷积交织器

由I = 52个分支组成，在第 j ( j = 0,1,…,I-1 )分支上设有容量为 j M 个字节的移位寄存器，M = 4 ，  对于(208,52)交织器，交织前同一数据段的数据在交织后将分散到52个数据段中。 纠突发错误能力 = I t = 52×10 = 520字节

能量扩散

作用：使数据随机化，改善传输频谱特性。

TCM-8VSB调制技术

格形编码调制（TCM）基本思想是将卷积编码与调制作为一个整体进行设计，增大维特比译码路径之间的最小欧几里得距离，提高信号的抗噪能力。

在ATSC制中采用2/3编码率的格形编码。其作法是对输入编码器的2个比特中的1个比特进行1/2编码率的卷积编码生成2个比特的输出，用于选择4个符号子集中的一个子集。输入的另一个比特进行预编码，用于在所选定的含有2个符号的子集中选择一个符号。

格形编码器输出的由8个电平（符号）组成的信号称为8VSB。完成的就是两个比特的输入，三个比特的输出，然后3个比特的输出映射为了8个符号，从-7到+7的8个符号，为什么映射成这8个符号？它进行的是8VSB编号，然后 Ask是幅度上我们建立的电流的幅度上，然后经过残留边带滤波形成的是8VSB的调制信号。 

全参考图像质量评价方法：均方误差、峰值信噪比