【Jetson AGX Xavier-FFmpeg4.4+x264+nvmpi环境搭建】

前言

在Jetson AGX Xavier Jetpack4.4环境中使用FFmpeg+硬件解码(nvmpi)时，AVPacket中自定义SEI信息解析出的时间戳和解析出的AVFrame图像上的OSD不一致，本质上应该为AVPacket与AVFrame未对应（也通过AVPacket的pts和AVFrame的pkt_pts比对是一致的，但是请教过其他人，说pts可能会重排，但其实没弄明白）。注意到，FFmpeg4.4版本之后AVFrameSideDataType 有 AV_FRAME_DATA_SEI_UNREGISTERED 类型，可以从AVFrame解析出自带的SEI unregistered信息，这样可以避免因AVPacket与AVFrame不对应造成的时间戳不一致问题。因此，配置Jetson AGX Xavier+FFmpeg4.4+x264+nvmpi环境进行相机取流及硬件解码测试。

注1：nvmpi硬件解码使用的是：GitHub - Keylost/jetson-ffmpeg: ffmpeg support on jetson nano（支持FFmpeg4.2 4.4 6.0，GitHub - jocover/jetson-ffmpeg: ffmpeg support on jetson nano工程只支持FFmpeg4.2）

注2：FFmpeg、x264、nvmpi库均安装在自定义路径下，避免破坏原环境

一、x264编译安装

1.下载x264源码，也可直接去网站下载然后解压

git clone https://code.videolan.org/videolan/x264.git

2.configure（path为下载解压后的x264项目所在路径）

./configure --prefix=path/build/installed --enable-shared --enable-static --disable-asm

configure成功如下

3.make
make成功如下
4. make install
make install会提示相关安装路径，执行后可以在安装路径下看到相关文件夹和文件
5. 环境变量设置（编辑~/.bashrc）
由于为自定义路径安装，需要将相关库路径添加入环境变量LD_LIBRARY_PATH中

二、nvmpi编译安装

1.下载并解压支持FFmpeg4.4的nvmpi（可通过git或直接下载压缩包）

GitHub - Keylost/jetson-ffmpeg: ffmpeg support on jetson nano

2.cmake，path为下载解压后的nvmpi项目所在路径

cmake -D CMAKE_INSTALL_PREFIX=path/build/installed ..

cmake输出如下信息

3.make install
make install会提示相关安装路径，执行后可以在安装路径下看到相关文件夹和文件

4.环境变量（编辑~/.bashrc）
由于为自定义路径安装，需要将相关库路径添加入环境变量LD_LIBRARY_PATH中

三、FFmpeg编译安装

1.下载解压FFmpeg4.4，将jetson-ffmpeg中的ffmpeg_nvmpi.patch文件拷贝至FFmpeg工程目录下，并执行

git apply ffmpeg_nvmpi.patch

2.configure

./configure --prefix=path/build/installed --enable-shared --enable-static --disable-debug --enable-gpl  --enable-libx264 --extra-cflags=-Ix264_path/include --extra-ldflags=-Lx264_path/lib --extra-libs=-ldl --enable-nonfree --disable-x86asm --enable-ffmpeg --enable-nvmpi

configure成功后，可以看到支持的解码器中（Enable decoders）中出现h264_nvmpi，即为配置成功

3.make & make install
由于在configure中配置了–prefix参数，执行make install后会将创建相关文件夹，并将相关文件安装在对应文件夹下

4.环境变量
由于为自定义路径安装，需要将相关库路径添加入环境变量LD_LIBRARY_PATH中

总结

完成FFmpeg4.4+x264+nvmpi测试环境搭建，经验证，使用h264_nvmpi解码时，使用jtop可以看到NVDEC在使用，说明环境配置成功。

如有不对之处，请大家指出。