H.264基础

2.视频编码
（1）编码：将信息按照一定规则使用某种形式的码流表示与传输
（2）常需要编码的信息：文字、语音、视频、控制信息等
（3）视频编码的主要目的：数据压缩
    动态图像的RGB/YUV表示，数据量极为巨大
    存储空间和传输带宽完全无法满足像素格式视频保存传输要求
（4）图像大小的计算
图像的每个像素的三个颜色分量：R/G/B，每个颜色分量以8bit（10bit）保存，
每个像素至少需要3Bytes.
分辨率1280*720的一帧图像：1280*720*3 = 2.7648MB
25frame/sec的视频，所需码率：1280*720*25*24bit=553Mb/sec
1080p 4k 8k 更为庞大
3.视频为什么可以被压缩
（1）数据量庞大的视频信号中，存在多种冗余
    1.时间冗余：视频相邻的两帧之间内容相似，存在运动关系
    2.空间冗余：视频的某一帧内部的相邻像素存在相似性
    3.编码冗余：视频中不同数据出现的概率不同
    4.视觉冗余：观众的视觉系统对视频中不同的部分敏感度不同
4.视频编码标准化组织
（1）ITU-T
international telecommunications Union-Telecommunication Standardization Sector
(国际电信联盟电信标准分局)
VCEG(Video Coding Experts Group):ITU-T下属的视频编码专家组
H.261/H.263/H.263+/H.263++等
（2）ISO
International Standards Organization(国际标准化组织)
MPEG(Motion Picture Experts Group):ISO下属的移动图像专家组
MPEG-1/MPEG-4
（3）真正在业界产生影响力的标准    
是由两个组织合作产生的Joint ITU-T/MPEG Standards
H.262/MPEG-2  H.264/MPEG 4 AVC（MPEG-4 Part 10 Advanced或Aavanced Video Coding）  H.265/HEVC
H.264标准中只定义了编码工具，语法格式，和解码过程
标准下载路径http://www.itu.int/rec/T-REC-H.264-201704-I
5. 视频编码的分类
（1）基于波形的编码
特点：编码的数据针对每一帧图像包含的像素值，即采样像素的波形
方法：利用像素之间在时间与空间上的相关性，采用预测编码和变换编码结合的基于块的混合
编码方法。
代表：MPEG-1,MPEG-2,H.264,H.265等
（2）基于内容的编码
特点：视频帧分成对应不同物体的区域，分别对其编码
方法：针对不同物体的形状、运动和纹理进行编码
代表：MPEG-4,由于这种方法的运算复杂度太高，并没有得到广泛的发展

6.处理冗余的技术
（1）预测编码：传输预测像素值与实际像素之差，利用时间或空间相邻像素之间较强的相关性
      分为两类：
      帧内预测：预测值与实际值位于同一帧内，用于消除图像的空间冗余，压缩率相对来说比较低，
                可以独立解码，并不依赖其他外部数据，通常来说视频中的关键帧都采用帧内预测。
      帧间预测：实际值位于当前帧，预测值位于参考帧（另一帧），用于消除图像的时间冗余。
                相比帧内预测，帧间预测的压缩率更高。由于他参考了其他帧的数据，它是不能独立解码的，
                所有在获取参考帧的数据之后，才能重建当前帧。
      通常在视频码率中，I帧全部采用帧内编码，P帧和B帧中的数据有可能采用帧内编码，也有可能采用帧间编码。
（2）变换编码：将像素由空间域变换成频域，针对变换系数进行编码
        可用于视频编码的正交变换：DCT变换，K-L变换等
      
      目前主流的视频编码包括MPEG-1 MPEG-2 H.264 H.265都属于有损编码的，这些编码通过对视频造成有限
      可以容忍的损失来获取相对更高的编码效率。而造成信息损失的部分，也就在变换量化的部分。
（3）熵编码利用信源的统计特性进行压缩编码
 常用方法：变长编码、算数编码

7.H.264的Profile和Level
 （1）H.264的profile就是一组编码的工具集
 （2）Level就是对应工具集的一些限制，主要是分辨率和帧率等的限制

8.其他常见的视频编码标准格式
 Google:VP8/VP9
 Microsoft:VC-1
 国产自主标准AVS/AVS+/AVS2

9.H.261标准
（1）第一种采用“块结构的混合编码”方案的编码标准
（2）目的：视频会议、可视电话等低码率视频图像传输
（3）数据格式：公共中间格式（Common Intermediate Format, CIF）
    各国电视制式不统一，无法互通
    在使用H.261进行编码之前，首先转换为CIF格式然后再编码
    每一帧分辨率（亮度）：
        CIF:352*288
        QCIF:176*144
10.H.264/AVC编码标准
（1）发起者：ITU-T的VCEG(Video Coding Experts Group)      
（2）发起时间：1998年早期发布H.26L Call for Proposal,1999.8发布第一版草案
（3）强强联合：2001年MPEG发布新标准的CFP，VCEG以H.26L草案响应，并提出联合制定新标准，成立了JVT(Joint Video Team)      
（4）H.264/AVC第一版本于2003年发布，也被称为MPEG-4/AVC      
（5）同MPEG-4标准关注的灵活性和可交互性不同，H.264专注于采用新技术提高视频信号的编码效率和提高网络传输
亲和性。
（6）H.264的应用场景：数字电视广播、视频实时通信、网络视频流媒体、DVD视频存储、视频点播等场合。
（7）H.264最初版本支持8bit/sample(每个像素用8bit来表示)，4:2:0色度采样，主要针对大部分通用视频处理与
传输场合，未对特殊应用做处理
    特殊应用可能需求：
        源视频数据精度超过8bit/sample
        色度采样使用4:2:2或者4:4:4
        超高码率和超高分辨率编码
        超高保真度，或部分无损编码
（8）为了解决这些专业应用场景的需求，2004年JVT公布“fidenlity range extension”,即H.264 FREXT
作为H.264标准的一个扩展。

11.H.264视频编码方法简介