机载视频流回传+编解码方案

已于 2024-11-28 11:23:36 修改
阅读量770 收藏 5
点赞数 3
分类专栏： 无人机开发 ubuntu ros 文章标签： ubuntu
于 2024-11-27 14:01:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/benchuspx/article/details/144081898
版权

无线网络，低带宽场景。不能直接转发ROS raw image（10MB/s+），而要压缩（编码）后再传输。可以用rtsp的udp传输或者直接传输话题，压缩方法有theora（ROS image_transport默认支持，软件编解码）或者h264（自己用gstreamer/ffmpeg/opencv写，并结合实际可用的硬件编码器进行编码）

视频流来源 发送方案 接收方案 优点 缺点

rtsp +

h264已编码

（IP摄像头）

 转发rtsp推流

rtsp拉流 +

h264解码

（gstreamer/ffmpeg）

 无额外开销 无法再压缩、修改画面

rtsp拉流 +

h264解码 （此处应有ROS image话题）+

h264编码（gstreamer） +

rtsp推流

rtsp拉流 +

h264解码

（gstreamer/ffmpeg）

 在原rtsp h264流基础上可以再压缩 需要额外编码

ROS话题

image_transport republish （已经是的可省略） +

传输theora话题

接收theora话题 +

image_transport解码 +

republish image话题（仅rqt查看可省略）

 通用 软件编码;无硬件加速

h264编码（gstreamer） +

rtsp推流

rtsp拉流 +

h264解码

（gstr
最低0.47元/天 解锁文章
无人机通讯协议MavLink
shengyin714959的博客
04-20 797
然后，图像流就开始定期的发送新的图片，期间不再需要其他的交互。协议中包含很多事务，每一个事务的完成情况以成功和失败来描述，在接收端的路径点列表状态未改变则被认为该事务的完成情况是失败的。需要注意的是，目的地部件必须监听来自最后一个路径节点的WAYPOINT_REQUEST消息，知道它拿到WAYPOINT_ACK消息或另一个消息命令开启一个不同的事务或者发生了超时。如果一个MAV上的路径点规划设备选择了一个新的路径点作为它的新的当前航电，它将会广播一个WAYPOINT_CURRENT消息。
关于WIFI Sensor技术的CSI数据转换
热门推荐
xgh1951的博客
09-29 1万+
CSI（channel state information）是无线通信中用于描述无线信道状态的信息，包括‌信噪比、‌干扰、‌多径效应等。首先由于各芯片平台不同，其原始的CSI数据格式也不同，以MTK为例，其CSI数据的原始格式为.bin档，由于是.bin文件，所以无法直接查看，若虚查看，目前可通过BeyondCompare以16进制的形式打开，如图所示：选择Hex Compare，再把.bin文件拖入即可CSI原始数据打开后如下图所示：打开后以16进制的格式显示，单纯这样是看不出数据含义的。
ROS Image_transport使用
08-13 5422
本来想要用image_transport来将compressed图像republish成raw的，结果使用过程中遇到找不到image_transport.这一点很矛盾，因为一直都在用这个，一下是遇到的问题集锦； 1. 首先是找不到list_transport: s———n@shinan:/opt/ros/kinetic/lib/image_transport$ rosrun image_transport list_transports [rosrun] Couldn't find executab.
gscam播放本地视频传输
穿着帆布鞋也能走猫步
02-20 2205
gscam播放本地视频传输
ROS image_transport及cv_bridge
weixin_41230454的博客
12-10 3180
                                                                   ROS  image_transport 压缩 此外上面提到过FPS这个参数，自然少不了介绍图像的压缩。一般使用的时候直接会使用没有压缩的图像，但是在需要传输的时候，这一些大图像非常占用带宽，所以对图像进行压缩也就是必然的选择了。 ROS中已有的图像压缩的包有...
ROS学习十二、图像传输Image_transport使用
qq_41035283的博客
09-01 5583
本篇简要记录ros中的图像传输可包image_transport。ROS在图像传输时，为了节省带宽，先将图像压缩后再做传输，如图像话题就是压缩后的图像，图像被接收后还需要解压才能使用。
gstcam开发（ROS+gstreamer）
一米阳光
01-08 4310
写在前面 gstcam是github上一个开元的ros软件包，它巧妙地将gstream流媒体框架引入ROS系统。通过利用 gstreamer 实现一个标准的ROS API接口.比如捕获usb uav camera 的图像，然后转化成　ros中　sensor_msgs/Image类型的image话题，发布到ros中，供其他节点使用。 gscam_github gscam_wiki 这里注意
显示/光电技术中的基于FPGA和DSP的机载高清视频图像系统
10-21
机载视频图像系统作为无人机的重要组成部分，对于提升无人机的有效作业能力至关重要。鉴于无人机在高空拍摄时图像目标像素较小、数量较多的特点，为了提高目标识别能力，通常需要增加图像的分辨率。然而，这将导致...
一种基于机载AI模块的多旋翼无人机的电力巡检报告生成方法
somnuscharry的博客
11-27 2056
一种基于机载AI模块的多旋翼无人机的电力巡检报告生成方法 1 摘要 无人机在输电线路巡检通常采用无人机进行巡检的方式进行，通过无人机按照一定的航线飞行，在预设的点位拍摄获取电力器件的照片然后上传到服务器的算法平台进行电力器件缺陷的发现然后人工或者服务器生成巡检报告，目前存在耗时周期长，巡检结果反馈不及时以及一线工作人员工作量大等问题。同时随着计算机科学的蓬勃发展，人工智能算法和相关硬件使得无人机可以拥有更强大的大脑。本文对目前输电线路运用无人机在输电线路巡检过程中的电力器件和缺陷识别以及巡检报告的生成做了概
GSCam：无缝集成视频流与ROS的桥梁
gitblog_00079的博客
06-17 610
GSCam：无缝集成视频流与ROS的桥梁 去发现同类优质开源项目:https://gitcode.com/ 在机器人开发和自动化领域，实时图像处理是核心环节之一。今天，我们要为大家推介一个强大的工具——GSCam。这是一个由布朗大学机器人实验室孵化，并经过社区优化的ROS（Robot Operating System）包。GSCam通过利用广受欢迎的GStreamer框架，使任何基于GStream...
gscam + darknet_ros + image_view node 物体检测节点编译测试
qq_44334499的博客
12-26 665
ros2 object detection
ros_sample_image_transport:ROS接收并发布有关图像的不同主题
05-15
ros_sample_image_transport 此源存储库正在测试ROS映像传输 您需要设置您的环境 环境：Ubuntu 14.04并安装opencv和ROS 将目录找到到catkin_ws / src /并将图像放置到〜/ lena.jpg运行ros core。 打开终端1： $ roscore 打开终端2：运行图像订户以接收两个主题：/ camera / rgbd / image和/ camera / depth / image_raw $ rosrun ros_sample_image_transport image_transport_subscriber 打开终端3：运行图像发布器。 $ rosrun ros_sample_image_transport image_transport_publisher 打开终端4：您可以使用默认的debian ROS软
Gstreamer系列（5）：Gstreamer在arm平台(Nano, Orin, Xavier等)使用硬编码对视频进行保存mp4，推拉流
qq_27897937的博客
10-15 2916
在工程实践中，NVIDIA Jetson 系列板卡（如 Xavier, TX2, Orin, Nano 等）常用于图像处理，GStreamer 提供了omxh264enc和两个硬件编码插件。omxh264enc主要用于基于 ARM 架构的旧设备，使用 OpenMAX IL (OMX) 接口，性能较好但功能简单，支持的编码参数较少。则用于较新的设备，使用 V4L2 接口，性能更优，支持更多编码参数和高级功能，如比特率控制、GOP 大小、帧率等。
ROS 发布和订阅压缩图像消息 sensor_msgs/Image 和 sensor_msgs/CompressedImage
zhangyue123的博客
04-07 5886
sensor_msgs/Image 是ROS（机器人操作系统）中定义的一种消息类型，用于在ROS系统中传输图像数据。由于 sensor_msgs/CompressedImage 的数据量较小，因此在网络传输中具有更高的效率，尤其是在带宽受限的情况下。image_transport是一个用于实现图像传输的工具包，它提供了一种灵活的方式来订阅和发布图像数据，但它并不直接操作消息类型。sensor_msgs/Image：原始的未经压缩的图像消息，通常用于传输原始图像数据，例如 RGB、灰度或深度图像。
Jetson AGX Orin外接摄像头（查看测试可用视频设备）
m0_46928770的博客
01-11 1005
然后运行以下命令，检测哪个视频设备可用。先安装camorama库。
Xavier 下GMSL相机ROS驱动发布CompressedImage消息(基于NVJPG硬件编码)
龙性的腾飞的博客
09-30 4395
在Xavier接入多个gmsl相机，采用yuv转rgb，再通过cv_bridge转成ros消息发出来的方式太耗费cpu,同时运行多路相机驱动会造成系统卡顿. Xavier上支持硬件的编解码，使用jtop可以看到硬件资源如下图，之前采用cpu将yuv转rgb后，还需要将采用image_transport（https://wiki.ros.org/image_transport）数据发布出来,在发布原始话题（sensor_msgs/Image）的时候，同时发布压缩图像（sensor_msgs/Compresse
开源！手把手教你搭建Arduino+英伟达Jetson的ROS小车（中）
COONEO的博客
08-10 4228
手把手教你一步一步搭建一台Jetson Nano ROS 机器人/无人车
ROS小车打造（六）--TX2安装jetson_csi_cam使用板载CSI摄像头
leoFY123的博客
01-08 1868
1. 下载jetson_csi_cam 将此存储库克隆到您的catkin_workspace. cd ~/catkin_workspace/src git clone https://github.com/peter-moran/jetson_csi_cam.git 2. 安装gscamgstreamer-1.0 支持 克隆gscam到你的catkin_workspace. cd ~/catkin_workspace/src git clone https://github.co..
ROS教程：视觉传感器使用漫谈
cgy8919的博客
11-07 3476
作者：盛盛 作者简介：盛盛目前在西工大学习，接触机器人2年。学习使用ROS大概1年多，玩过履带式全地型机器人、参加RoboCup Rescue项目，事无巨细、负责机器人上与图像有关的一切，2013年所在团队全国冠军。 本文发表于exbot.net,如需转载请注明出处！ 0.   前言 因为觉得教程里面没有介绍从视觉传感器入手介绍的文章我就写一下吧。（古月居前辈的http://www.guyuehom
gscam包在noetic上是什么
最新发布
03-19
<think>好的，我需要帮助用户了解gscam包在ROS Noetic上的用途和功能。首先，我应该查阅提供的引用资料，看看里面有哪些关键点。引用[2]提到gscam是一个开源的ROS软件包，将GStreamer框架引入ROS，把摄像头数据转化为ROS的Image话题。这应该是一个核心功能。引用[3]和[4]提到它支持多种摄像头，包括USB和CSI摄像头，这可能说明其兼容性。引用[5]显示它在无人机上的应用，说明适用于需要实时图像传输的场景。 接下来，用户可能需要安装和使用说明。根据引用[1]中的链接，应该引导用户到GitHub仓库查找安装步骤。需要注意ROS Noetic的依赖是否满足，比如GStreamer和相关插件。可能还需要配置启动文件和参数，比如设置摄像头设备路径或调整分辨率。 然后，使用示例部分应该包括如何启动节点和查看图像话题。可能需要提醒用户检查设备权限，特别是USB摄像头。此外，高级配置如调整分辨率或使用硬件加速可能也是用户关心的点。 最后，应用场景部分可以结合引用中的例子，比如无人机、ROS小车等，说明gscam的灵活性和适用性。相关问题部分需要生成与安装、配置、兼容性以及与其他工具对比的问题，帮助用户进一步探索。 需要确保回答结构清晰，步骤明确，同时引用正确来源。注意检查LaTeX格式是否符合要求，特别是行内公式用$...$，独立公式用$$...$$，但当前问题可能不需要数学公式，所以可能不需要使用。但如果有涉及参数设置的数学表达式，比如分辨率设置，可能需要使用。不过目前看来，主要信息都是功能描述，可能不需要数学公式。但根据用户指令，所有行内数学表达式必须用$...$，所以如果有的话，要确保格式正确。不过当前回答可能不需要数学表达式，所以可能不用处理这部分。 最后，确保所有引用标注正确，例如[^2]、[^3]等，并按照用户要求的中文回答，语言自然流畅，分步骤说明，帮助用户理解gscam的用途和用法。</think>### gscam包在ROS Noetic上的用途与功能说明 #### 一、核心功能 1. **GStreamer与ROS的桥梁** gscam将GStreamer多媒体框架集成到ROS系统中，支持将摄像头捕获的视频流转换为ROS标准的$sensor\_msgs/Image$或$sensor\_msgs/CompressedImage$话题数据。例如，USB摄像头、CSI摄像头（如树莓派Camera V2）等设备可通过GStreamer插件接入ROS。 2. **多设备兼容性** 支持所有GStreamer兼容的摄像头硬件，包括： - USB摄像头（如UVC标准设备） - CSI摄像头（如Jetson TX2的板载摄像头）[^4] - 网络流媒体（如RTSP视频流） 3. **灵活配置** 通过GStreamer管道（Pipeline）自定义视频处理流程，例如： ```bash gst-launch-1.0 v4l2src device=/dev/video0 ! videoconvert ! video/x-raw,format=RGB ! appsink ``` 用户可调整分辨率、帧率、编解码格式等参数[^1]。 #### 二、安装与依赖 1. **安装步骤** ```bash # 克隆仓库（需确认仓库是否适配Noetic） git clone https://github.com/ros-drivers/gscam.git cd gscam # 编译安装 catkin_make --pkg gscam ``` 注意：需提前安装GStreamer及相关插件（如`gstreamer1.0-plugins-base`）。 2. **依赖项验证** - ROS Noetic - GStreamer 1.0+ - OpenCV（用于图像处理）[^3] #### 三、使用说明 1. **基础启动** 创建启动文件`gscam.launch`，配置GStreamer管道： ```xml <launch> <node name="gscam_node" pkg="gscam" type="gscam" output="screen"> <param name="gscam_config" value="v4l2src device=/dev/video0 ! videoconvert ! video/x-raw,width=640,height=480"/> <param name="camera_name" value="usb_cam"/> </node> </launch> ``` 启动节点后，图像数据将发布到`/usb_cam/image_raw`话题。 2. **查看图像流** ```bash # 显示原始图像 rosrun image_view image_view image:=/usb_cam/image_raw # 压缩图像传输（适用于无人机等低带宽场景）[^5] rosrun topic_tools throttle messages /usb_cam/image_raw 1 /compressed_image ``` 3. **高级配置** - **硬件加速**：在Jetson TX2等设备中，使用`nvvidconv`插件提升性能[^4]。 - **多摄像头支持**：通过分配不同设备路径（如`/dev/video0`和`/dev/video1`）并行运行多个节点。 #### 四、典型应用场景 1. **移动机器人**：为ROS导航提供实时视觉输入。 2. **无人机**：通过压缩图像传输降低带宽消耗[^5]。 3. **工业检测**：结合OpenCV实现流水线质检。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值