一、本文整体思路
开发基本流程,yuv和pcm的正确性验证,以及遇到的问题和解决方案。全文依托的媒体文件是mp4格式,视频数据的格式是yuv420p,其它格式的视频数据,请自行根据对应的格式进行数据的适配。
二、视频解码基本流程
1、解封装 :将某种格式的媒体文件(AVI、mov、rmvb、rm、FLV、mp4、3GP等)
解封装得到某种编码格式的视频流(H.264、H.265、VP8、VP9等)和音频流(MP3、AAC、WAV、FLAC等)
2、解码 :将某种格式的音频和视频流文件解码成基本数据类型,如视频 yuv、音频pcm.
3、将数据写到本地
上述1、2、就不列出对应的代码了,网上的例子很多,也可以参考ffmpeg的官方demo。这里主要讲从解码后获得AVFrame之后,将数据考本到本地的过程。
三、写pcm到本地
1、pcm的格式
参考了https://www.jianshu.com/p/fd43c1c82945
FFmpeg中音视频数据基本上都有Packed和Planar两种存储方式,对于双声道音频来说,Packed方式为两个声道的数据交错存储;Planar方式为两个声道分开存储。假设一个L/R为一个采样点,数据存储的方式如下所示:
1)Packed: L R L R L R L R
2)Planar: L L L L R R R R
FFmpeg音频解码后的数据是存放在AVFrame结构中的。
1)Packed格式,frame.data[0]或frame.extended_data[0]包含所有的音频数据中。
2)Planar格式,frame.data[i]或者frame.extended_data[i]表示第i个声道的数据(假设声道0是第一个), AVFrame.data数组大小固定为8,如果声道数超过8,需要从frame.extended_data获取声道数据。
2、写pcm代码
本文代码,基于双声道。
//每个采样的数据有多少个字节
int bytePerSample = av_get_bytes_per_sample(codecContext->sample_fmt);
//codecContext->frame_size,一个AVFrame有多少个采样。
if(av_sample_fmt_is_planar(codecContext->sample_fmt)) {
for