音视频小白系统入门课-3

本系列笔记为博主学习李超老师课程的课堂笔记，仅供参阅

往期课程笔记传送门：

• 音视频小白系统入门笔记-0
• 音视频小白系统入门笔记-1
• 音视频小白系统入门笔记-2

视频：

• 由一组图像组成：像素、分辨率、RGB 8888(24位) 、RGBA(32位)
• 为了占用更小空间而被压缩
• 显示设备上经过驱动程序 展示（未被压缩）

BMP格式使用 BGR格式，导致显示的颜色不对

屏幕指标：

• PPI（pixels per inch），每英寸像素点数目
• DPI（Dots pen inch），每英寸点数，一般情况下PPI = DPI

PPI > 300就属于视网膜级别

分辨率（Resolution）

• 定义：图像的像素数量，通常表示为 宽度 × 高度（如 1920×1080）。
• 作用：决定图像的精细程度（像素越多越清晰）。
• 示例：
  • 1920×1080（全高清）：横向1920像素，纵向1080像素。
  • 3840×2160（4K）：横向3840像素，纵向2160像素。

SAR（Sample Aspect Ratio，采样宽高比）

• 定义：单个像素的 宽高比例（即像素本身的形状）。
• 作用：描述像素是否为方形（Square Pixel）或非方形（如矩形像素）。
• 常见值：
  • 1:1（方形像素）：大多数现代数字视频（如MP4、H.264）。
  • 非1:1（如 10:11）：某些标清格式（如DVD的PAL制式）。
• 公式：SAR=像素宽度 / 像素高度
• 示例：若像素宽度是高度的1.5倍，则 SAR = 1.5:1。

3. DAR（Display Aspect Ratio，显示宽高比）

• 定义：图像最终在屏幕上显示的 宽高比例（如 16:9、4:3）。
• 作用：决定观众看到的画面形状（宽屏或方屏）。
• 常见值：
  • 16:9（现代电视、流媒体）。
  • 4:3（传统电视、老式显示器）。
• 公式：

DAR=图像宽度×SAR / 图像高度

帧率：每秒采集/播放图像的个数 15帧/s（直播） 25（动画） 30（录制） 60（电影）

码流：一秒的比特数

H264的压缩比一般能达到100:1左右，H265的压缩比平均是H264的2倍

平台	推荐方案	解码/处理层	渲染层
Windows	FFmpeg (NVDEC) + D3D11/Vulkan	FFmpeg调用NVDEC硬解	D3D11或Vulkan渲染纹理
macOS	FFmpeg (Video Toolbox) + Metal	FFmpeg调用Video Toolbox	Metal渲染CVPixelBuffer
Android	MediaCodec + OpenGL ES/Vulkan	MediaCodec硬解	OpenGL ES或Vulkan渲染
iOS	AVFoundation + MetalKit	AVFoundation硬解	MetalKit直接渲染

YUV（也称YCbCr）：Y表示明亮度，UV的作用是描述影像色彩及饱和度

YUV4:2:0（通用） YUV4:2:2 YUV4:4:4

RGB：用于屏幕图像的展示

YUV：用于采集和编码

YUV = Y * 1.5 = RGB / 2

存储格式：

平面planar：

• I420：先存储Y，再存储U，再存储V
• YV12（IOS）：先存储Y，再存储V，再存储U

打包packed：

• NV12：先Y， UVUVUV
• NV21（Andriod ）：先Y，VUVUVU