gstreamer在线视频AAC音频声音异常分析

背景：在播放在线视频的时候声音播放不正常，通过生成pipeline dot文件分析，看到audio部分是aac raw格式，所以初步思路是dump es流后，分析gstreamer pipeline播放，然后发现问题。(dump数据后，pipeline都是在ubuntu上运行的)

首先需要dump数据，dump GstBuffer到文件：

GstMapInfo map;
std::ofstream outfile;
gst_buffer_map (buffer.get(), &map, GST_MAP_READ);

outfile.open("/data/audio.data", std::ios::out|std::ios::binary|std::ios::app);
outfile.write((const char*)map.data, map.size);
outfile.close();

gst_buffer_unmap(buffer.get(), &map);

对dump数据播放，刚开始尝试播放，使用caps"audio/mpeg,rate=44100,channels=2"，一开始尝试的时候没有加qtdemux，audio.data是直接从http source里面dump出来的数据，所以以为是裸数据：

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
！"audio/mpeg,rate=44100,channels=2" ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

实际上mediainfo可以看到，是mp4类型的数据包，所以加上qtdemux就可以解析：

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

增加adts的caps audio/mpeg,stream-format=adts后播放正常：

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux  ! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

所以问题定位：avdec_aac_fixed对aac raw格式的处理不好，通过增加adts caps就可以解决问题。

使用playsink代替pulsesink也是可以的：

gst-launch-1.0 filesrc location=audio.data \
! qtdemux ! "audio/mpeg,rate=44100,channels=2" \
! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac ! playsink

参考知识：多种音频的格式以及其解码流程