瑞芯微平台H.264硬件编码推流的注意事项

1.核心的问题

注意，与拉流推流花屏，绿屏相关的问题，本质只有一个——就是缓冲区的点阵数量不对。出现问题时，纠错的第一步始终是打印frame缓冲区，看看那个尺寸与你的预估是否相同。

width*height*1.5的，一定是YUV型数据

width*height*3的，一定是RGB数据。

比理论数据多一个尾巴的，一定是因为h264或者h265编解码对齐，产生的一些数据：比如：

1920*1080在编解码之前需要对齐到1920*1088。。。。

对于编码器而言，这个限制条件仍然存在，在进入硬件编码器之前，你需要手工调整，把frame整理成需要的分辨率，但是——注意在这样做的同时，不能修改视频源原始分辨率。

2.处理：

       encodestr = f'appsrc! videoparse format=bgr width={self.width} height={self.height} !videoconvert' + \
           f'! videoscale ! video/x-raw, format=NV12, width={self.width}, height={output_height}' + \
           ' ! videoconvert ' + \
           ' ! mpph264enc ! h264parse' + \
           ' ! rtspclientsink location=%s latency=0 sync=false' %(self.rtsp_url)

注释：

1. 因为我的视频源需要转换为RGB进AI跑识别算法，所以识别结果处理完毕，我的原始图像仍然是RGB的。所以需要:
   videoparse format=bgr width={self.width} height={self.height}
2. 在进入mpph264enc之前需要进行分辨率调整，所以，在常规的videoconvert之外，需要一个幅面转换过程：
   videoscale ! video/x-raw, format=NV12, width={self.width}, height={output_height}' +  ! videoconvert
3. 注意在encode之后需要按h264组包后在发给后级
   h264parse
4. mpph264enc是瑞芯微的硬件编解码模块
5. 注意，output_height和 self.height，这两个参数对应着视频的编码缓冲区需要的对齐的高度和原始图片高度。

3.可能的错误现象：

我今天又看到了一些特异的参数错误导致的视频传输故障，这里罗列出来：

• 绿边
• 绿屏
• 花屏
• 黑边
• 整个视频内容出现上滚效果

上滚效果和黑边效果的具体原因，我没有来得及仔细分析，仅保存。