音视频面试基础题

编码原理

为什么巨大的原始视频可以编码成很小的视频呢?这其中的技术是什么呢?核心思想就是去除冗余信息：

1）空间冗余：图像相邻像素之间有较强的相关性

2）时间冗余：视频序列的相邻图像之间内容相似

3）编码冗余：不同像素值出现的概率不同

4）视觉冗余：人的视觉系统对某些细节不敏感

5）知识冗余：规律性的结构可由先验知识和背景知识得到

直播秒开优化

• DNS 解析慢 为了有效降低 DNS 解析对首开的影响，我们可以提前完成播放域名->IP 地址的解析， 并缓存起来，播放的时候，直接传入带 IP 地址的播放地址，从而省去了 DNS 解析的耗时。 如果要支持用 IP 地址播放，是需要修改底层 ffmpeg 源码的。

• 播放策略 很多侧重点播的播放器，为了减少卡顿，会有一些缓冲策略，当缓冲足够多的数据之后 ，再送入解码播放。

而为了加快首开效果，需要对播放的缓冲策略做一些调整，如果第一帧还没有渲染出来的情况下， 不要做任何缓冲，直接送入解码器解码播放，这样就可以保证没有任何因为「主动」缓冲带来的首开延时。

• 播放参数设置 所有基于 ffmpeg 的播放器，都会遇到avformat_find_stream_info这个函数耗时比较久， 从而增大了首开时间，该函数主要作用是通过读取一定字节的码流数据， 来分析码流的基本信息，如编码信息、时长、码率、帧率等等，它由两个参数来控制其读取的数据量大小和时长， 一个是 probesize，一个是 analyzeduration。

减少 probesize 和 analyzeduration 可以有效地减少avformat_find_stream_info的函数耗时， 从而加快首开，但是需要注意的是，设置地太小可能会导致读取的数据量不足，从而无法解析出码流信息，导致播放失败， 或者出现只有音频没有视频，只有视频没有音频的问题。