音视频基础知识

音视频基础知识

录像、录音，实质是一个压缩采集的图像或视频数据的过程(编码)，就会有各种各样的格式。
播放视频或音频文件，实质上是一个解压缩的过程(解码)

播放一个视频文件的流程

1. 视频文件后缀名是FLV，MKV，MP4等 ，都是封装格式的数据
2. 然后解封装
3. 接着获取 音频压缩数据 和 视频压缩数据
4. 音频压缩数据 解码 获得 音频采样数据(PCM)，视频压缩数据 解码 获得 视频像素数据(YUV)

采样率

采样率:44100
44100是人最大支持的采样率，再大没有什么意义

查看视频信息

MediaInfo软件

视频封装格式

作用

视频码流和音频流按照一定的格式存储在一个文件中

MPEG2-TS格式简介

不包含文件头。数据大小固定(188Byte)的Ts Packet构成

FLV格式简介

包含头文件。数据由大小不固定的Tag构成

视频编码数据

将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量。

H.264 格式简介

数据由大小不固定的NALU构成
最常见的情况下，1个NALU存储了一帧画面的压缩编码后的数据
可以将视频数据压缩100倍以上

音频编码数据

将音频采样率数据(PCM等)压缩成为音频码流，从而降低音频的数据量。

AAC格式简介

数据由大小不固定的ADTS构成
可以将音频数据压缩10倍以上

视频像素数据

保存了屏幕中每个像素点的像素值

特点

视频像素体积很大

Y是U和V的4倍

YUV格式介绍

• 相关实验表明,人眼对亮度敏感而对色度不敏感。因而可以将亮度信息和色度信息分离,并对色度信息采用更“狠”一点的压缩方案从而提高压缩效率。
• YUV格式中, Y只包含亮度信息,而UV只包含色度信息。以YUV420P为例,图像像素数据的存储方式如图所示。
• 从图中可以看出, YUV420P首先存储了整张图像的Y信息，然后存储整张图像的U信息,最后存储了整张图像的V信息。
  

RGB格式介绍

• Red, Green, Blue三种颜色,可以混合成世界上所有的颜色。(三原色)
• 彩色图像中每个点,由R,G、B三个分量组成。
  以RGB24为例,图像像素数据的存储方式如下:
  
  从图中可以看出, RGB24依次存储了每个像素点的R、G、B信息。

BMP文件中存储的就是RGB格式的像素数据。

音频采样数据

保存了音频中每个采样点的值

特点

音频采样数据体积很大

PCM格式简介

• 单声道的情况下按照顺序存储每个采样点的数据。
• 双声道的情况下按照“左右、左右”的顺序存储每个采样点两个声道的数据。
  

其他

H264码流格式