音视频相关知识

• 相关概念

CDN

内容分发网络（Content Delivery Network，简称CDN）是建立并覆盖在承载网之上，由分布在不同区域的边缘节点服务器群组成的分布式网络。
推流阶段使用CDN就近接入实现推流加速，用户播放拉流阶段也可以使用CDN来做加速。
它将储存在目标服务器的资源缓存在了离终端较近的节点服务器中，等下次再获取时，就直接从节点服务器上获取。 这样就大大降低了请求获取资源的时间。

RTC

RTC（Real-time Communications），实时通信。泛指各种数据的实时传输，包括音频，视频，文本，图片等媒体和非媒体数据的实时传输。
从功能流程上说，它包含了采集、编码、前后处理、传输、解码、缓冲、渲染等诸多环节，每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等等。

帧率

帧率(frames per second, fps)是每秒画面刷新的次数，帧率越高视频越流畅。一般来说30fps就是可以接受的，60fps则可以明显提升交互感和逼真感，但是一般超过75fps一般就不容易察觉到有明显的流畅度提升了。

分辨率

分辨率表示画面的精细程度，通常用像素密度来表示，常用的单位为ppi(像素每英寸)。通常像素密度越高画面越精细，模糊程度越低。对于视频文件而言，像素密度是无法控制的(由播放器和显示设备决定)。我们通常用视频的像素数来表示它的分辨率如1080x640, 640x320等。

码率

比特率(bit rate)又称码率，表示多媒体流每秒输出的字节数，单位为KB/s,Kbps等。
码率越高画面越清晰，反之画面粗糙模糊
码率会影响清晰度，码率低图像变模糊，码率高图像更清晰。
在分辨率和帧率不变的情况下：
码率变小：由于容不下那么多细节，就会粗枝大叶的记录，画面会变模糊；
码率变大：压缩比更小，画面损失更小，细节更清楚；

音视频加工流程：

影响音视频的因素

• 源视频的采集质量（硬件决定）；
• 音视频 SDK 的服务质量（SDK 服务商决定）；
• 网络情况；

推流端流程：-> 主播&麦上嘉宾

1. 通过摄像头采集到的画面和麦克风采集到的声音，进行收集
2. 对收集的内容进行处理，比如美颜，特效，处理完后进行音视频编码
3. 然后进行封装发送到CDN源站
4. 目前主要使用的声网sdk 进行这些操作，客户端区分身份等逻辑
   拉流端流程： -> 看播用户
5. 客户端先经过DNS解析，连接到CDN的边缘节点，和推流端类似，需要对DNS解析时间，边缘节点的运营商、地理位置、RTT值等关键信息进行采集；
6. 从CDN边缘节点拿到的http-flv数据会先经过解封装送到接收缓冲区，在这个阶段可以对CDN服务节点的首包时间，发送至接收的端到端延时进行统计；
7. 接收缓冲区的长度决定了拉流端的网络抗性，这里可以采集到卡顿的次数和时长，缓冲区本身的长度也是需要监控的点；
8. 数据从缓冲区输出，会分别进行音频和视频的解码，经过音视频同步，进入播放环节。这里从拉流启动到播放出第一帧画面的时间就是首帧时间。
   

相关内容

• 音频编码：将音频信号转换为数字形式。常用的音频编码方式有MP3、AAC、WAV等。

• 视频编码：将视频信号转换为数字形式。常用的视频编码方式有H.264、H.265、AV1等。

• 音视频传输：涉及音视频数据的传输协议，如HTTP、RTMP、RTP等。

• 音视频处理：对音视频进行编辑、剪辑、合成、调整等处理。

• 音视频播放：指在计算机、手机等设备上播放音视频文件。常用的音视频播放器有VLC、Windows Media Player、QuickTime等。

• 音视频录制：指通过摄像机、话筒等设备录制音视频。常用的音视频录制软件有Camtasia、OBS、Audacity等。

• 直播技术：指将音视频实时传输到观众端的技术。常用的直播技术有RTMP、WebRTC、HLS等。

• 图像处理：涉及视频图像的编辑、剪辑、合成、调整等处理。

• 人工智能与音视频：包括人脸识别、语音识别、音频分析等技术的运用。