视频编码的基础问题

视频编码的基础问题

H264编码器的原理是什么？
H264编码器将输入视频流进行压缩，并将其转化为压缩后的视频流。该过程包括以下步骤：分析图像、提取并编码关键信息、利用运动补偿技术减少冗余数据，最终生成可传输和存储的压缩视频流。

H264编码器如何实现视频质量的优化？
在H264编码器中，可以通过调整压缩参数或使用不同的算法来优化视频质量。常见的优化方法包括：修改I帧间隔、调整量化参数、调整码率控制方式、使用自适应码率控制、选择合适的视频分辨率等。

**H264编码器中的SPS和PPS是什么？
**SPS（Sequence Parameter Set）和PPS（Picture Parameter Set）是H264编码器中的两个重要参数集合。SPS包含有关序列的信息，如视频尺寸、帧率等。而PPS则包含有关每个图像的特定信息，如图像类型、参考帧信息等。

**如何评估H264编码器的性能？
**评估H264编码器的性能需要考虑多种因素，包括编码效率、视频质量、延迟、复杂度、资源消耗等。通常，评估编码器性能的指标包括PSNR、SSIM、Bitrate、延迟等。

H264编码器支持哪些编码模式？
H264编码器支持多种编码模式，包括帧间预测模式、帧内预测模式、交错模式等。这些模式可以根据视频的特性进行选择，以实现更高效的压缩率和更好的视频质量。
PSNR和SSIM区别，PSNR全称
Peak: Signal-to-Noise Ratio,直译为中文就是峰值信噪比
SSIM: Structural Similarity Index,中文意思即为结构相似性,是衡量图像质量的指标之一
对H265了解多少，H.265/HEVC/HM/x265都是什么
H.265是HEVC别称，他们是标准；HM将标准中所有算法都实现了一遍，所以编码效果最好，但编码速度很慢；x265对HM进行了优化，尤其在编码速度上有很大提高。
如何优化帧内编码的速度或质量和如何提高帧间预测准确度或提升编码速度
视频编码器参数详解与优化是提高视频质量的实用技巧从码率控制、编码模式和预测算法三个方面介绍视频编码器参数的优化方法
1、 帧间编码模式：帧间编码模式包括P帧和B帧，其中P帧使用先前的关键帧或P帧作为参考帧进行编码，而B帧则使用两个相邻的帧作为参考帧进行编码。使用正确的帧间编码模式可以大大减少视频冗余，优化视频质量和文件大小。
2、帧内编码模式：帧内编码模式是使用当前帧中已有的像素信息来编码该帧，适用于不包含大量运动的视频。正确使用帧内编码模式可以确保视频质量，并实现文件大小最小化。H266中引进intra block copy技术
3、 预测算法是影响视频质量的另一个重要因素。选择适当的算法以最小化运动和块估计误差，可以减少视频伪影和失真。以下是几种预测算法的优化方法。
运动估计：运动估计是指预测下一帧像素值时使用的运动信息。选择正确的运动估计算法和合适的搜索范围，可以提高视频质量和文件大小。
块估计误差：块估计误差是预测相邻像素值之间的块误差。选择适当的块大小和搜索范围，可以最小化块估计误差，减少视频失真、
帧间预测：帧间预测是指使用相邻帧来预测当前帧的像素值。正确选择帧间预测算法可以减少视频伪影，并提高视频质量和文件大小。
视频为什么需要编码，编码的意义是什么
是为了减少传输的视频数据量,视频编码的主要目的就是为了压缩原始视频的数据量。因为网络带宽的资源是有限的，传输大量的视频数据的成本是很高的，为了减少成本，提高传输的效率，所以针对原始数据要进行压缩编码。
空间冗余，是静态图像存在的主要的数据冗余。大片连贯性的空间像素相似度非常高；
时间冗余，是视频序列，也即相邻帧之间包含的非运动背景数据；
编码冗余，也是信息熵冗余，由信息论可知，为了表示图像数据的一个像素点，只要按照其信息熵的大小分配相对应的比特数即可，但是对于图像数据的每个像素，在获取图像时很难获取像素的信息熵，因此一般的是对每个像素采用相同的比特数表示，这样就必然存在信息熵冗余；
视觉冗余，人眼对图像的没感性是非均匀和非线性的，对于某些失真并不敏感，察觉不到图像的细微变化，这些细微变化即是丢失，人眼也感受不到，但是在记录视频的原始数据的时候，通常假定视觉系统是线性和均匀的，这一样就是产生了比理想编码更多的数据，这就是视觉冗余；
知识冗余，图像中包含了一些人们的先验知识，比如图像中的人脸五官架构，这些位置信息是固定的；根据已有知识，可以构造某些图像中所包含的物体的模型，创建特征图库，这样图像编码的时候只需要保存一些特征参数，从而可以减少数据量，知识冗余是模型编码利用的主要特性；
结构冗余，图像中存在很强的纹理结构或者自相似性，如果已知某种像素的分布模式，则可以通过某以特定过程生成图像；
视频硬编码和软编码的区别
一、软编码和硬编码如何区分
软编码：使用CPU进行编码
硬编码：使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等
二、软编码和硬编码比较
软编码：实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常比硬编码要好一点。
硬编码：性能高，低码率下通常质量低于软编码器，但部分产品在GPU硬件平台移植了优秀的软编码算法（如X264）的，质量基本等同于软编码。
宏块是什么，为什么有宏块
宏块是视频压缩操无论是帧内压缩还是帧间压缩，都是以宏块作为单位。作的基本单元
宏块的大小对程序有着很大的影响，宏块控制的小，压缩时代码有着很高的控制力，但是，如果图片是天蓝色背景，换言之，相似区间非常大时，如果使用大宏块，就会压缩处理的非常快。如果没有太多细节时，就将宏块划分的大一些，反过来，如果有非常多的细节处理，就需要将宏块的大小控制的小一些。
I帧，p帧，B帧的区别
I帧：只能由帧内预测的宏块组成。 I帧中的每个宏块只能在同一帧内匹配其他宏块，这意味着，它只能利用帧内“空间冗余”来进行压缩。空间冗余是一个术语，用来指单个帧的像素之间的相似性。
P帧：前向预测编码帧（predictive-frame），通过将图像序列中前面已编码帧的时间冗余信息充分去除来压缩传输数据量的编码图像，也称为预测帧。P帧表示的是这一帧跟之前的一个I帧（或P帧）的差别。
B帧：双向预测内插编码帧（bi-directional interpolated prediction frame），以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送
什么是封装格式，视频的压缩数据是什么
常见的视频文件后缀名有：MP4、MKV、AVI、MOV等，其实这些后缀名只是代表了视频的封装格式，视频还有编码格式。
视频封装格式是将已经编码处理的视频数据、音频数据、字幕数据等按照一定的方式放到一个文件中，这个文件的格式就是视频封装格式，如果一个视频文件是以某个格式封装起来的，那么它的文件后缀名一般会体现出来。
视频编码格式是用于存储或传输数字视频内容的格式，它通常使用标准化的视频压缩算法，将某个视频格式的文件转换成另一种视频格式的文件。

怎么识别 NALU 裸流数据的编码格式是 H.264 还是 H.265？
比如 H.265 如果解析出了 pps、sps、vps 的各字段信息符合规范，就认为它是 H.265 的编码；如果不是，在你们的码流格式范围中就只剩 H.264 了
为什么会有 YUV 这种数据？它相比 RGB 数据有什么优点？
YUV 在对照片或视频编码时，考虑到人眼对亮度信息的敏感度高于色度信息，允许降低色度的带宽。这样一来就可以对色度信息进行压缩，所以 YUV 可以相对 RGB 使用更少的数据带宽。比如常见的采样格式有：4:2:1、4:1:1、4:2:0 等，它们分别相对 RGB 压缩了 33.3%、50%、50% 的数据量。