使用正确的管道
GStreamer使用管道(pipelines)进行配置,使用高效的gstreamer管道可以使CSI获得高质量性能,以下为常用的一条管道:
nvcamerasrc ! video/x-raw(memory:NVMM), width=1920, height=(int)1080, format=(string)I420, framerate=(fraction)30/1 ! nvvidconv flip-method=2 ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink
这里非常重要的部分是video/x-raw, format=(string)BGRx ! videoconvert ! video /x-raw, format=(string)BGR,它确保来自CSI相机的原始视频转换为BGR色彩空间。在OpenCV和许多其他程序里,图像都是按照BGR格式存储。通过图像管道预转换为BGR,在TX2上,我们需要确保使用硬件模块来转换图像而不是CPU。在实验中中,如果不使用转换的管道会导致性能严重的下降,在TX2上获取1080p视频的最高速度只有10fps。
经常使用的命令行工具
- gst-launch
可以使用gst-launch-1.0 运行GStreamer管道。
示例1:查看相机的1080p视频
gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! nvoverlaysink -e
示例2:查看相机的1080p视频并将真实的fps输出到控制台。
gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! fpsdisplaysink text-overlay=false -v
- gst-inspect
可以使用gst-inspect-1.0来检查管道元素
例如:检查CSI摄像头接口的功能。
gst-inspect-1.0 nvcamerasrc
!
最需要注意的是:
- 在编译OpenCV之前要把TX2自带的 OpenCV4Tegra 删除,否则会出现兼容性问题
- 在编译安装OpenCV的时候, 需要在编译选项中打开gstreamer -> WITH_GSTREAMER=ON