TROS DataFlow - USB Camera & mipi Sensor - rtsp

TROS DataFlow - USB Camera & mipi Sensor - rtsp

使用TROS的功能，通过USB或者mipi摄像头得到MJPEG数据，推理YOLOv5节点，得到目标检测结果，通过ros_rtsp将nv12数据变成标准的H264/H265码流推出。

DataFlow示意图

mipi

USB

H264/H265推流展示

编译ros_rtsp_server

系统版本 2.1.0, sudo apt update有sunrise.horizon.cc地平线源的情况下, sudo apt upgrade到最新，板端编译耗时约42秒。

sudo apt install -y liblivemedia-dev 
pip install -U colcon-common-extensions
git clone https://github.com/zhukao/ros_rtsp_server.git
source /opt/tros/setup.bash
colcon build --packages-up-to ros_rtsp_server --install-base /opt/tros --merge-install

mipi Camera Node拆解

mipi_cam

Sensor: GC4663

ros2 run mipi_cam mipi_cam \
--ros-args --log-level error \
--ros-args -p  io_method:=shared_mem \
--ros-args -p  out_format:=nv12 \
--ros-args -p  image_width:=2560 \
--ros-args -p  image_height:=1440 

hobot_dnn

ros2 run dnn_node_example example \
--ros-args --log-level warn \
--ros-args -p feed_type:=1 \
--ros-args -p dump_render_img:=0 \
--ros-args -p is_shared_mem_sub:=1 \
--ros-args -p config_file:=/opt/tros/lib/dnn_node_example/config/yolov5workconfig.json  \
--ros-args -p msg_pub_topic_name:=yolov5_results

hobot_codec_A (nv12 to MJPEG)

ros2 run hobot_codec hobot_codec_republish \
--ros-args --log-level warn \
--ros-args -p channel:=2 \
--ros-args -p in_format:=nv12 \
--ros-args -p sub_topic:=hbmem_img \
--ros-args -p in_mode:=shared_mem \
--ros-args -p out_format:=jpeg \
--ros-args -p out_mode:=ros \
--ros-args -p pub_topic:=image

websocket

ros2 run websocket websocket \
--ros-args --log-level error \
--ros-args -p only_show_image:=False \
--ros-args -p image_topic:=image \
--ros-args -p image_type:=mjpeg \
--ros-args -p smart_topic:=yolov5_results

hobot_codec_B (nv12 to H264 or H265)

ros2 run hobot_codec hobot_codec_republish \
--ros-args --log-level warn \
--ros-args -p channel:=3 \
--ros-args -p in_format:=nv12 \
--ros-args -p sub_topic:=hbmem_img \
--ros-args -p in_mode:=shared_mem \
--ros-args -p out_format:=h264 \
--ros-args -p out_mode:=ros \
--ros-args -p pub_topic:=rtsp_string_h264

ros_rtsp

ros2 run ros_rtsp_server ros_rtsp_server \
--ros-args --log-level warn \
--ros-args -p topic_name:=rtsp_string_h264 \
--ros-args -p video_type:=h264 \
--ros-args -p port:=9999 \
--ros-args -p stream_name:=a_name_ch0

推流地址：rtsp://IP:9999/a_name_ch0
例如：rtsp://192.168.1.143:9999/a_name_ch0
测试软件：https://www.videolan.org/vlc/

如何使用launch启动？

借着dnn_node的launch用一用

touch /opt/tros/share/dnn_node_example/launch/mipi_dnn_with_rtsp.launch.py
vim /opt/tros/share/dnn_node_example/launch/mipi_dnn_with_rtsp.launch.py

加入以下内容：

import os
from launch import LaunchDescription
from launch_ros.actions import Node

def generate_launch_description():
    mipi_cam = Node(
        package='mipi_cam',
        executable='mipi_cam',
        name='hobot_usb_cam',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'error',
            '--ros-args', '-p', 'io_method:=shared_mem',
            '--ros-args', '-p', 'out_format:=nv12',
            '--ros-args', '-p', 'image_width:=2560',
            '--ros-args', '-p', 'image_height:=1440'
        ]
    )
    dnn_node = Node(
        package='dnn_node_example',
        executable='example',
        name='dnn_node',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'feed_type:=1',
            '--ros-args', '-p', 'dump_render_img:=0',
            '--ros-args', '-p', 'is_shared_mem_sub:=1',
            '--ros-args', '-p', 'config_file:=/opt/tros/lib/dnn_node_example/config/yolov5workconfig.json ',
            '--ros-args', '-p', 'msg_pub_topic_name:=yolov5_results'
        ]
    )
    hobot_codec_A = Node(
        package='hobot_codec',
        executable='hobot_codec_republish',
        name='hobot_codec_A',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'channel:=2',
            '--ros-args', '-p', 'in_format:=nv12',
            '--ros-args', '-p', 'sub_topic:=hbmem_img',
            '--ros-args', '-p', 'in_mode:=shared_mem',
            '--ros-args', '-p', 'out_format:=jpeg',
            '--ros-args', '-p', 'out_mode:=ros',
            '--ros-args', '-p', 'pub_topic:=image'
        ]
    )
    websocket = Node(
        package='websocket',
        executable='websocket',
        name='websocket',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'error',
            '--ros-args', '-p', 'only_show_image:=False',
            '--ros-args', '-p', 'image_topic:=image',
            '--ros-args', '-p', 'image_type:=mjpeg',
            '--ros-args', '-p', 'smart_topic:=yolov5_results'
        ]
    )
    hobot_codec_B = Node(
        package='hobot_codec',
        executable='hobot_codec_republish',
        name='hobot_codec_B',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'channel:=3',
            '--ros-args', '-p', 'in_format:=nv12',
            '--ros-args', '-p', 'sub_topic:=hbmem_img',
            '--ros-args', '-p', 'in_mode:=shared_mem',
            '--ros-args', '-p', 'out_format:=h264',
            '--ros-args', '-p', 'out_mode:=ros',
            '--ros-args', '-p', 'pub_topic:=rtsp_string_h264'
        ]
    )
    ros_rtsp_node = Node(
        package='ros_rtsp_server',
        executable='ros_rtsp_server',
        name='ros_rtsp_node',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'topic_name:=rtsp_string_h264',
            '--ros-args', '-p', 'video_type:=h264',
            '--ros-args', '-p', 'port:=9999',
            '--ros-args', '-p', 'stream_name:=a_name_ch0'
        ]
    )

    return LaunchDescription([
        mipi_cam,
        dnn_node,
        hobot_codec_A,
        websocket,
        hobot_codec_B,
        ros_rtsp_node
    ])

使用以下命令启动即可：

source /opt/tros/setup.bash
ros2 launch dnn_node_example mipi_dnn_with_rtsp.launch.py

USB Camera Node拆解

usb_node

ros2 run hobot_usb_cam hobot_usb_cam \
--ros-args --log-level warn \
--ros-args -p zero_copy:=False \
--ros-args -p io_method:=mmap \
--ros-args -p video_device:=/dev/video8 \
--ros-args -p pixel_format:=mjpeg \
--ros-args -p image_height:=1080 \
--ros-args -p image_width:=1920

hobot_codec_A (MJPEG 2 nv12)

ros2 run hobot_codec hobot_codec_republish \
--ros-args --log-level warn \
--ros-args -p channel:=1 \
--ros-args -p in_format:=jpeg \
--ros-args -p sub_topic:=image \
--ros-args -p in_mode:=ros \
--ros-args -p out_format:=nv12 \
--ros-args -p out_mode:=shared_mem \
--ros-args -p pub_topic:=hbmem_img

hobot_dnn

ros2 run dnn_node_example example \
--ros-args --log-level warn \
--ros-args -p feed_type:=1 \
--ros-args -p dump_render_img:=0 \
--ros-args -p is_shared_mem_sub:=1 \
--ros-args -p config_file:=/opt/tros/lib/dnn_node_example/config/yolov5workconfig.json  \
--ros-args -p msg_pub_topic_name:=yolov5_results

websocket

ros2 run websocket websocket \
--ros-args --log-level error \
--ros-args -p only_show_image:=False \
--ros-args -p image_topic:=image \
--ros-args -p image_type:=mjpeg \
--ros-args -p smart_topic:=yolov5_results

hobot_codec_B (nv12 to H264 or H265)

ros2 run hobot_codec hobot_codec_republish \
--ros-args --log-level warn \
--ros-args -p channel:=2 \
--ros-args -p in_format:=nv12 \
--ros-args -p sub_topic:=hbmem_img \
--ros-args -p in_mode:=shared_mem \
--ros-args -p out_format:=h264 \
--ros-args -p out_mode:=ros \
--ros-args -p pub_topic:=rtsp_string_h264

ros_rtsp

ros2 run ros_rtsp_server ros_rtsp_server \
--ros-args --log-level warn \
--ros-args -p topic_name:=rtsp_string_h264 \
--ros-args -p video_type:=h264 \
--ros-args -p port:=9999 \
--ros-args -p stream_name:=a_name_ch0

推流地址：rtsp://IP:9999/a_name_ch0
例如：rtsp://192.168.1.143:9999/a_name_ch0
测试软件：https://www.videolan.org/vlc/

如何使用launch启动？

借着dnn_node的launch用一用

touch /opt/tros/share/dnn_node_example/launch/usb_dnn_with_rtsp.launch.py
vim /opt/tros/share/dnn_node_example/launch/usb_dnn_with_rtsp.launch.py

加入以下内容：

import os
from launch import LaunchDescription
from launch_ros.actions import Node

def generate_launch_description():
    hobot_usb_cam = Node(
        package='hobot_usb_cam',
        executable='hobot_usb_cam',
        name='hobot_usb_cam',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'zero_copy:=False',
            '--ros-args', '-p', 'io_method:=mmap',
            '--ros-args', '-p', 'video_device:=/dev/video8',
            '--ros-args', '-p', 'pixel_format:=mjpeg',
            '--ros-args', '-p', 'image_height:=1080',
            '--ros-args', '-p', 'image_width:=1920'
        ]
    )
    hobot_codec_A = Node(
        package='hobot_codec',
        executable='hobot_codec_republish',
        name='hobot_codec_A',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'in_format:=jpeg',
            '--ros-args', '-p', 'out_format:=nv12',
            '--ros-args', '-p', 'channel:=1',
            '--ros-args', '-p', 'out_mode:=shared_mem',
            '--ros-args', '-p', 'sub_topic:=image',
            '--ros-args', '-p', 'pub_topic:=hbmem_img'
        ]
    )
    dnn_node = Node(
        package='dnn_node_example',
        executable='example',
        name='dnn_node',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'feed_type:=1',
            '--ros-args', '-p', 'dump_render_img:=0',
            '--ros-args', '-p', 'is_shared_mem_sub:=1',
            '--ros-args', '-p', 'config_file:=/opt/tros/lib/dnn_node_example/config/yolov5workconfig.json ',
            '--ros-args', '-p', 'msg_pub_topic_name:=yolov5_results'
        ]
    )
    websocket = Node(
        package='websocket',
        executable='websocket',
        name='websocket',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'error',
            '--ros-args', '-p', 'only_show_image:=False',
            '--ros-args', '-p', 'image_topic:=image',
            '--ros-args', '-p', 'image_type:=mjpeg',
            '--ros-args', '-p', 'smart_topic:=yolov5_results'
        ]
    )
    hobot_codec_B = Node(
        package='hobot_codec',
        executable='hobot_codec_republish',
        name='hobot_codec_B',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'warn',
            '--ros-args', '-p', 'channel:=2',
            '--ros-args', '-p', 'in_format:=nv12',
            '--ros-args', '-p', 'sub_topic:=hbmem_img',
            '--ros-args', '-p', 'in_mode:=shared_mem',
            '--ros-args', '-p', 'out_format:=h264',
            '--ros-args', '-p', 'out_mode:=ros',
            '--ros-args', '-p', 'pub_topic:=rtsp_string_h264'
        ]
    )
    ros_rtsp_node = Node(
        package='ros_rtsp_server',
        executable='ros_rtsp_server',
        name='ros_rtsp_node',
        output='screen',
        arguments=[
            '--ros-args', '--log-level', 'error',
            '--ros-args', '-p', 'topic_name:=rtsp_string_h264',
            '--ros-args', '-p', 'video_type:=h264',
            '--ros-args', '-p', 'port:=9999',
            '--ros-args', '-p', 'stream_name:=a_name_ch0'
        ]
    )

    return LaunchDescription([
        hobot_usb_cam,
        hobot_codec_A,
        dnn_node,
        websocket,
        hobot_codec_B,
        ros_rtsp_node
    ])

使用以下命令启动即可：

source /opt/tros/setup.bash
ros2 launch dnn_node_example usb_dnn_with_rtsp.launch.py