音视频处理简介

        与图像处理不同，音视频处理通常是为了传输而生，图像处理通常用opencv，PCL open3d点云处理，音视频处理通常用ffmpeg操作，包含音频和视频处理，音视频压缩编解码。

        图像处理的侧重点在于对图像像素本身进行操作，涉及滤波，特征提取，边缘检测，连通域计算，色彩空间变换等，是只针对一张图像的局部和全局操作，处理后得到一些变换或提取有用信息的过程。

        音视频处理通常是在传输需求的刺激下应运而生，通常应用于视频监控，直播领域，监控摄像头为了传输大量的图像和视频信息，如果不进行压缩操作其带宽和流量是巨大的，因此需要对视频和音频进行压缩操作，视频压缩通常分为帧间压缩和帧内压缩，以便于减小数据量，减小带宽压力，以力争利用最小的带宽传输最大流量的数据。压缩对应编解码算法，视频经过压缩算法即编码算法进行帧间和帧内编码后，其数据量减小，通过网络协议传输，通常是http流或ts流，RTMP流，RTSP流，是常用的视频传输流协议。各种视频信号经过压缩编码后都可以转换为各种传输流，便于对端接收，接收端接收后可以通过解码算法进行视频信号解码，恢复原始视频数据。

        视频编码常用的方法是h264,h265，其压缩比大概1%，正常不能小于1%，否则图像质量损失太大。解码是编码的逆过程。

        多路音视频可以通过ts流传输，把多路rtsp流或根据自己定义的协议通过http网络socket协议发送封装后的ts流，其包含多帧音视频数据。解码端接收网络协议流后安装固定协议解析成rtsp流rtp流，经过h264解码后转换为视频数据。

        推拉流编解码操作的大部分功能都可以通过ffmpeg实现，配合硬件编解码器可以实现快速编解码操作。