从0开始进入流媒体时代之--初识H.264

前言

•mp4、flv、avi、rmvb、ts等格式是封装容器，里面封装的是视频流+音频流。

•容器不会影响画面质量，影响质量的是容器里面封装的东西。

•视频清晰度要素：一要看分辨率，二要看片源，三要看码率。

•码率：每秒传送的比特(bit)数。单位为 bps(Bit Per Second)。

•采样率：单位Hz，计算机每秒钟采集多少个信号样本。

MPEG(Moving Pictures Experts Group 动态图像专家组）运动图像压缩编码国际通用标准。
 

Tips：

什么是H.264？

•H.264(.h264/h264/AVC/MPEG-4 Part 10)是一种视频编码（压缩）方式；

•是MPEG4-PART10，即MPEG4 第十部分；

•经过H.264编码压缩后通常会以TS或者TP格式封装，移动设备上通常是.MP4；

•H.264是高度压缩数字视频编解码器标准，国际通用标准高质量的视频格式；

 

为什么是H.264？

市场为什么采用H.264

•H.264具有更复杂的编码算法，以前之所以未采用更复杂的算法，是考虑到解码（播放）端的运算能力不足，就会导致播放不流畅，失去视频娱乐观赏的意义。

•但如今不同，无论桌面电脑、移动终端的性能都突飞猛进，即便运用更复杂的压缩编码都可以实时解码、流畅地播放，这正是H.264能够推行的一项先决条件。

•H.264当初提出的指标是比 H.263，MPEG-4，压缩比是它们的2倍，基本实现;

•当今主流手机：主频单位均达到GHz，骁龙845cpu主频2.8 GHz，变态！

补充说明：

•H.264 和MPEG-4中的重点是灵活性不同，H.264着重在高效率压缩和高可靠传输。

•H.265/HEVC是H.264/AVC的升级改进版，H.265最高支持64x64宏块，而H.264支持16x16宏块。

•H.265的帧内预测模式支持33种方向(H.264只支持8种)。

•问：H265这么好为什么还是H.264？

•答：1、H.265对于硬件要求更高，推广适配较难；2、市场滞后性。

H.264内部和特别之处？

H.264编码视频录制过程：

H.264的编码流程：

Slice分类：

视频序列的分层结构：

图像序列解析：

Tips：

•视频解码最主要的工作则是提供高效的方式从码流中获得宏块中的像素阵列。

•I帧是关键帧，属于帧内压缩。 P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。

•P帧（差别帧）表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。

•B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，B帧压缩率高，但是解码时CPU会比较累。

怎么玩转H.264？

•MediaCodec，FFmpeg的+ X264 / openh264。

•X264：X264是H.264的一种开源编码格式，使用CPU软解码，特征：编码速度相当快，解码很慢，相当耗费CPU处理能力，不支援硬件加速。

•膜拜国内大神-一个广院工科生的视音频技术笔记

•Android视频编码的那些坑

•新一代视频压缩编码标准——H.264/AVC（毕厚杰主编）

你该知道的知识点？

常见格式：

•受到技术条件的限制，纯粹的“硬解码”在现阶段是不存在的，CPU依然在发挥一部分作用，只不过硬解码时GPU／VPU已经成为运算的主力。

•NPU-(neural-network process units嵌入式神经网络处理器），采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。

•VPU-(Video Processing Unit，视频处理单元）强大的视频处理能力，提升画面细节，让动态画面无比顺畅。

•华为吓死人的技术GPUturbo：原理类似于H.264，帧内和帧间预测。

•AI摄影相关：图像校正、白平衡、图像增强以及增益控制等技术，第一更适合人眼的感觉；第二有利于后续的分析处理。

•FPS-(Frames Per Sencond) 每秒若干帧静止图像构成运动图像。我国PAL制彩色电视规定25帧/秒，美日的 NTSC 制彩色电视则为 30帧/秒。如果是会议电视、可视电话等运动量不大的视频信号，帧频也可取 15～20 帧/秒。

•4分钟的小短片（片中有福利？）