Nvidia Orin 16路摄像头调试

Nvidia Orin 16路摄像头调试

扩展板外观

参考链接

淘宝链接
https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-24508977192.2.469c7c19W06TPj&id=680474446092
GMSL 相机开发套件产品手册
https://note.youdao.com/s/T8qcydDx
使用说明文档
https://note.youdao.com/ynoteshare/index.html?id=0cd017a3562c7a772371cae070a43975&type=note&_time=1678504810915

当运行下面指令后有弹出一个视频窗口，则配置成功。

gst-launch-1.0 -v v4l2src device="/dev/video0" ! video/x-raw,framerate=30/1, width=1920, height=1080, format=UYVY ! xvimagesink &

实验发现使用opencv读摄像头的速度太慢，所以使用一个gstream插件，直接把gst的信号传到ROS里面。
这里需要简单了解一下gstream的基本使用方法。非常基本。然后按照github上的介绍进行编译就行了
https://github.com/BrettRD/ros-gst-bridge
然后

cp {worksapce_paht}/install/gst_bridge/lib/gst_bridge/librosgstbridge.so /usr/lib/aarch64/gstreamer-1.0/

下次使用就可以直接使用了，不需要source 也不需要添加参数--gst-plugin-path=install/gst_bridge/lib/gst_bridge/

然后就可以利用gst-launch-1.0 发送和接受ros2 的 topic了。
对于多个摄像头，写一个脚本多次调用gst-launch就ok了。

start_allcams.sh

#! /bin/bash
for i in 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 
do
    gst-launch-1.0 -q  v4l2src device="/dev/video${i}" ! video/x-raw,framerate=30/1,width=1920,height=1080,format=UYVY ! rosimagesink ros-topic="camera${i}" >> /dev/null&
done

保存图片使用 gst-launch 的filesink

save_images.sh

#! /bin/bash
base_name=$1
for i in 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 
do
    time=`date +%Y%m%d%k%M%S_%N`
    gst-launch-1.0 -q rosimagesrc ros-topic="camera${i}" num-buffers=1 ! jpegenc ! filesink location=./images/${base_name}_camera${i}_${time}.jpg >> /dev/null&
done

关闭摄像头直接使用 pkill gst-launch（这里有一个弊端，全部gst-launch的进程都会被关掉）

stop_allcams.sh

#! /bin/bash
pkill gst-launch

最后用python 写一个脚本调用这些脚本，实现一个脚本控制摄像头启停和保存图像。

cameras.py

#! /bin/python3
import os
import time

class Cams:
    def __init__(self, set_name):
        self.set_name = set_name

    def __enter__(self):
        os.system('/home/lamps/gst_ros_ws/scripts/start_allcams.sh')
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        os.system('/home/lamps/gst_ros_ws/scripts/stop_allcams.sh')

    def shot(self):
        os.system(f'/home/lamps/gst_ros_ws/scripts/save_images.sh {self.set_name}')
        time.sleep(0.55)
        print('take a shot')


if __name__ == '__main__':
    with Cams('test') as cam:
        time.sleep(1)
        while True:
            print('Ready to shot')
            a = input('[enter]->take a shot, q -> quit')
            print(a)
            if a == 'q':
                break
            else:
                cam.shot()

最终可以实现16路同时发布出1080P/30fps topic