音视频基础二

音视频采集:

时钟:采集帧  图像帧 通过时钟进行同步

相关的概念:

        1.帧率

        2.图像处理(视频相关的处理)

        3.帧队列

复用概念(音视频封装)

相关的概念:

        1.音频

                采集多少数据，44.1K 1s中 送去压缩比较合适

        1.1音频处理

        2.视频

音频编码压缩 

视频编码压缩

按照一定的规则放入复用器，放入文件之后，然后按照相同的规则解析出来。

时钟:

        要打入相关时间戳

采集帧:一秒中采集图片,一秒中采集音频

音视频录制原理:

        

音视频播放原理: 

 音视频:

位深:

        黑白图像（只有黑色和白色两种颜色），位深度为1，1bit就可以

         灰度图像，灰阶256个（0~255），所以位深度为8，需要8bit

        RGB图像，256*256*256=16777216，位深度为24，需要24bit

帧率:

        

码率:

        1.视频文件在单位时间使用数据流量(1.视频文件) 一秒钟的数据存储在文件里面是1M，传输到网络上需要1MS

 码率 额 清晰图

 需要对比不同的数据   

                        码率和清晰度之间的关系

 RGB

 YUV

        Y分量是图片

        U:分量是色度

        V:分量是色度

YUV排列方式：

    

 打包模式  平面格式

采样频率比列:

    

YUV数据存储4:4:4

不同的格式，YUV分辨率也不一样

花瓶:不同格式进行不同的渲染

 Stride:

      都是按照行进行采集，因为CPU每次读取指令都是以4或者8的倍数，进行处理          

七、资料

本篇的内容很多来下面的参考资料的学习，结合自己的理解进行整理和描述，以及通过码流分析工具进行查看分析。感谢如下作者的输出。

1. 图书 《视频编码全角度详解》
2. 图书 《新一代视频压缩编码标准 — H.264/AVC》
3. 李超-H264基本原理(H264基本原理 - 知乎)
4. 深入浅出理解视频编码H264结构(https://philm.gitbook.io/philm-ios-wiki/mei-zhou-yue-du/shen-ru-qian-chu-li-jie-shi-pin-bian-ma-h264-jie-gou)
5. 视频和视频帧：H264编码格式整理(视频和视频帧：H264编码格式整理 - 知乎)
6. H264编码总结(https://www.jianshu.com/p/0c296b05ef2a)
7. VCL & NAL (H.264/AVC)(https://www.jianshu.com/p/eeecb0eb2c6e)

八、收获

通过本篇的学习

1. 了解H264的结构 VCL和NAL的分层
2. 了解NALU HEAD对应的一个字节代表的含义和类型，SPS、PPS、SEI、IDR、非IDR等，以及了解I/P/B帧的特性
3. 了解NALU PayLoad的结构
4. 了解对帧分片和宏块的定义和目的。
5. 通过码流分析工具结合实践更好的理解