合成视频遇见的坑

打算弄个合成片头的软件，根据想法是打算只将片头按照正片的编码格式编码后写入新的视频，那样只需要重编片头部分，不需要重编正片。但发现如果直接复制正片的视频编码器信息的话有一个问题出现了，那就是播放片头后，正片没有办法播放。这是怎么回事呢？而且不是全部，只是某些视频。

初步怀疑是SPS 和 PPS， 因为合成的片头跟正片不是同一个sps，所以导致这种情况。接着我在每个pkt前都加上了一个sps和pps，出来的效果还是可以。但这又导致了内存的增长，看一下av_bitstream_filter_filter的api，发现那个pkt的data需要自己手动释放。问题到这里也解决了，视频可以正常播放，但放到vlc上时候就不能了。现在还在研究，等待将这个问题也解决。

后续继续，视频是合成了，但是你会发现在某些播放器里假如播放完片头进入正片后，再往回拖播放，你会惊奇发现出现了鬼畜现象，直到片头播放结束，这是什么鬼呢？明明在每个packet都加上了sps跟pps这是为什么导致的呢？原因是多个的sps/pps导致了x264播放，如果某些播放器不知道是ffmpeg版本低还是只采用最新那个导致的，因此在通过 x264-params或x264opts进行参数设置，不用修改ffmpeg源码了。
av_dict_set(&video_encoder_options, "x264-params", "sps-id=6", 0);
av_dict_set(&video_encoder_options, "x264opts", "sps-id=7", 0);

找了几天，参考了很多博客，终于在https://my.oschina.net/zhangxu0512/blog/416203这个里找到解决方案，不得不说这个人研究得挺厉害

在合成不同图片时候，你可能会发现不知道为什么会出现一种模糊的现象，或者花屏。这是因为2个图片间不同，而编码器却将第二张图按照第一张图而编码，就是第一张是keyframe，而第二张是p帧或者b帧，这当然会出现花屏。解决方法是将真正第一帧不同的设置为keyframe和加上属性pict_type但不能每一frame这样干，不然会出现播放着模糊的现象。具体原因大概是因为h264的压缩算法那边，暂时未知，要深入了解h264后才能知道。