背景:在播放在线视频的时候声音播放不正常,通过生成pipeline dot文件分析,看到audio部分是aac raw格式,所以初步思路是dump es流后,分析gstreamer pipeline播放,然后发现问题。(dump数据后,pipeline都是在ubuntu上运行的)
首先需要dump数据,dump GstBuffer到文件:
GstMapInfo map;
std::ofstream outfile;
gst_buffer_map (buffer.get(), &map, GST_MAP_READ);
outfile.open("/data/audio.data", std::ios::out|std::ios::binary|std::ios::app);
outfile.write((const char*)map.data, map.size);
outfile.close();
gst_buffer_unmap(buffer.get(), &map);
对dump数据播放,刚开始尝试播放,使用caps"audio/mpeg,rate=44100,channels=2"
,一开始尝试的时候没有加qtdemux,audio.data是直接从http source里面dump出来的数据,所以以为是裸数据:
gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
!"audio/mpeg,rate=44100,channels=2" ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink
实际上mediainfo可以看到,是mp4类型的数据包,所以加上qtdemux就可以解析:
gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink
增加adts的caps audio/mpeg,stream-format=adts
后播放正常:
gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux ! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink
所以问题定位:avdec_aac_fixed对aac raw格式的处理不好,通过增加adts caps就可以解决问题。
使用playsink代替pulsesink也是可以的:
gst-launch-1.0 filesrc location=audio.data \
! qtdemux ! "audio/mpeg,rate=44100,channels=2" \
! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac ! playsink
参考知识:多种音频的格式以及其解码流程