音视频学习笔记-视频基础

一.音视频录制原理

 先上图看一看

时钟

就是音频和视频同步的基础。我们在采集音频和视频时打上相应的时间戳，因此这个时钟是公共的。 

摄像头

1.从摄像头开始：比如我们1s采集25张图片，就是25帧率。每张图可以用RGB,或者YUV的方式表示。

2.图像处理：比如我们这个图像比较暗淡，我们可以才这个环节把图像设置亮一些。

3.图像帧队列：相当于一个图像帧的缓冲，可以把他理解成内存，视频编码为CPU, 图像采集为读磁盘。

4.视频编码：如果你不做视频编码，视频的体积是非常大的，比如：1920*1080的分辨率，你采用的RGB的方式表示图片，1秒钟你采集25张图(25帧率)，大小就是：1920*1080*25*3(字节) = 148M。1s你就148M, 你的内存和网络带跨顶不住呀。所以这个视频压缩是必须的。

5.最后：我们会把压缩的数据按照一定的格式写道对应的文件中。

麦克风

1.采集麦克风数据：比如使用PCM表示（后面详细介绍）

2.音频处理：比如你想把尖锐的声音变得柔和，或者变声就在这个阶段处理。

3.音频帧队列：和图像帧队列类似

4.音频编码：就是一个编码线程，也是起到压缩的作用。

5.最后：我们会把压缩的数据按照一定的格式写道对应的文件中。

二.音视频播放原理

 

 其实播放就是录制的一个逆向解析的过程

1.解复用器：分离出来音频和视频（就是复用器的逆向过程，比如在合成音频和视频的时候用的MP4的格式，那么你在分离的时候用MP4的格式分离就可以拉）

2.同步控制：这个部分在实际应用中可能会挪到音频处理和图像处理之后，在上图中是在两者之前的，这个要根据实际应用了。