音视频开发基本概念

视频文件的本质

一张图

音视频技术=封装技术+视频压缩编码技术+音频压缩编码技术+流媒体协议技术

播放流程: 获取流–>解码–>播放 
录制播放流程: 录制音频视频–>剪辑–>编码–>上传服务器 
直播流程: 录制音视频–>编码–>流媒体传输–>服务器—>流媒体传输到其他app–>解码–>播放

几个重要的环节：

录制音视频 AudioRecord/MediaRecord 
音视频编辑 mp4parser或ffmpeg 
音视频编码 aac&h264 
上传大文件 网络框架,进度监听,断点续传 
流媒体传输 流媒体传输协议rtmp rtsp hls 
音视频解码 aac&h264（MPEG-4Part10，h264的功能分为两层：视频编解码层（VCL）和网络提取层（NAL）） 
渲染播放 MediaPlayer

视频编辑可行性开源方案 
ffmpeg(功能强大，包含libavcodec(音视频解码库)和libavformat（音视频格式转换库）) 
MediaCodec （android自带） 
ijkplayer (bilibili开源的) 
mp4parser （软解软编音视频混合） 
Vitamio

每个阶段做了什么？

一.采集

采集内容

1.音频采集

面临问题：延时敏感、噪音消除、回声消除、静音检测等 
主要参数：采样率、位宽、声道数、音频帧

2.图像采集

面临问题：设备兼容性差、延时敏感、卡顿敏感以及图像处理如美颜和水印等 
主要参数：图像传输格式，图像格式，传输通道，分辨率，采样频率

采集源

摄像头，屏幕录制，从视频文件推流

二.处理

视频处理 
美颜、水印、自定义滤镜、自定义处理 
美颜：磨皮，美白（均值模糊、高斯模糊和中值滤波，及人脸和皮肤检测） 
水印：播放器水印，视频内嵌水印 
滤镜：有一些开源的图片和视频处理框架 
连麦：低延迟互动，音画同步，音视频实时合成。比较成熟的方案是基于webrtc的实时通讯。

音频处理 
混音、降噪、声音特效、自定义处理

三.编码和封装

编码可以节省带宽和传输时间

视频编码

视频编码的主要作用是将视频像素数据（RGB，YUV等）压缩成为视频码流，从而降低视频的数据量。

编码的基本原理

空间冗余:图像相邻像素之间有较强的相关性 
时间冗余:视频序 的相邻图像之间内容相似 
编码冗余:不同像素值出现的概率不同 
视觉冗余: 的视觉系统对某些细节不敏感 
知识冗余:规 性的结构可由先验知识和背景知识得到

编码格式

H.264:低码率，高质量，高容错 
开源实现：openh264、x264

H.265：能达到H.264两倍之压缩率，可支持4k分辨率，最高到8k。 
开源实现：libde265、x265

vp9

对比： 
H.265对H.264在码率节省上有较大的优势，在相同RSNR下分别节省了48.3%和75.8%。 
H.264在编码时间上有聚到优势，对比VP9和H.265,H.265是vp9的6倍，vp9是H.264的将近40倍。

音频编码

封装格式

封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。 
主要封装格式一览： 

四.推流和传输

推送协议

1.RTMP 
Real Time Messaging Protocol(实时消息传输协议)，基于 TCP，设计用来进行实时数据通信。

RTMP是目前主流的流媒体传输协议，广泛用于直播领域，市面上绝大多数直播产品都采用了这个协议。

2.HLS

http live streaming是由Apple公司定义的基于http的流媒体实时传输协议，可实现流媒体的直播和点播，主要用于ios系统。

原理是将整个流分为多个小的文件来下载，每次只下载 个。客户端只要不停的按顺序播放从服务器获取到的 件，就实现了直播。

分段推送的特点，决定了HLS的延迟一般会高于普通的流媒体直播协议。

3.WebRTC 
web real time communication（网页即时通信），是一个支持网页浏览器进行实时语音或者视频对话的API。

它于2011.6.1日开源并被纳入w3c推荐标注。目前主要应用于视频会议和连麦中。

五.解析协议、解封装、解码

解析协议

播放器端根据URL解析所用的流媒体协议（RTMP，HLS）。

解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。

解封装

解封装，就是demux的过程，从容器格式（FLV，TS）中，分离出音视频数据。

解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。

解码

解码，就是把获取到的数据解压缩，恢复成原始数据。解码就是将H264变成YUV，AAC变成PCM。

解码可以使用软解码，硬解码。

软解码就是利用CPU资源去解压缩数据，采用的方式是FFmpeg解码。

硬解码，对于iOS平台来说，可以使用VideoToolbox.Framework（该框架只能在iOS 8.0及以上系统使用）硬解码视频数据。Android平台上，可以使用MediaCodec来硬解码视频数据。

解码的作用，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264（MPEG4-Part 10），MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。

六.播放

采用OpenGL渲染YUV数据，呈现视频画面。将PCM送入设备的硬件资源播放，产生声音。

视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

常见问题

ijkplayer播放rtmp直播流，延迟明显 
全屏播放 
有时候会开始直播时出现黑屏 （确定下视频源的编码方式,ijk默认只带了h264解码code） 
一直是只有声音没有图像 
有时候会出现花屏 
解码方式设置 
如何区分点播直播 
是否需要开启硬件加速 
如何设置后台播放 
视频加载速度慢 （大多数根据CDN加速服务的质量） 
怎么静音和非静音 
适配问题,对于不同的cpu架构,需要编译不同的so库 
播放视频有的设备声画不同步 
如何查看m3u8时长 
如何改变播放质量（这个由视频源控制） 
倍速播放 
为什么往前拖动进度条后，还会往后退几秒 （seek只支持关键帧，出现这个情况就是原始的视频文件中i 帧比较少，播放器会在拖动的位置找最近的关键帧） 
怎样添加字幕 
如何设置硬解 
参考：https://www.jianshu.com/p/8436c7353296

参考资料

https://www.cnblogs.com/my_life/articles/6422979.html