Qualcomm Robotics RB5 平台软件用户指南（6）

最新推荐文章于 2024-04-25 16:58:18 发布
最新推荐文章于 2024-04-25 16:58:18 发布
阅读量1.1k 收藏 18
点赞数 16
分类专栏： RB5 Qualcomm 笔记 文章标签： Qualcomm 嵌入式硬件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38498942/article/details/137642135
版权
笔记 同时被 3 个专栏收录
364 篇文章 28 订阅
订阅专栏
Qualcomm
150 篇文章 7 订阅
订阅专栏
RB5
25 篇文章 0 订阅
订阅专栏

Qualcomm Robotics RB5 平台软件用户指南（6）

4.3 记录器：2 流并发用例

笔记
在实施用例之前确保 Weston 正在运行。

有关上游 GStreamer 插件和元素的信息，请参阅 GStreamer 文档，网址为 https://gstreamer.freedesktop.org/documentation/plugins_doc.html。

4.3.1 两个 H.264 流：保存到文件

先决条件：确保 Weston 正在运行。

该gst-launch管道可同时捕获、编码和存储两个 H.264/AVC 编码视频流。两路码流由一路 4K 分辨率流和一路 480p 分辨率流组成。

  • 对于 Linux Ubuntu：

    gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux_4k.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=640,height=480,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux_480.mp4

  • 对于嵌入式 Linux：

    gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux_4k.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=640,height=480,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux_480.mp4

  1. 该qtiqmmfsrc元素用于捕获和编码两个视频流。

  2. h264parse和元素mp4mux处理缓冲区并准备存储。

  3. 队列元素确保每个路径/轨道独立于另一个运行。

  4. 这些filesink元素将缓冲区存储在相应的文件中。

  5. 要停止用例，请按CTRL + C，然后运行以下命令。

    1. 使用以下命令从设备中提取录制的内容adb pull。

      adb pull /data/mux_4k.mp4

    2. 在主机 PC 上播放内容。

      adb pull /data/mux_480.mp4

  6. 播放设备上的内容。

请添加图片描述

4.3.2 两个 H.264 流：保存到文件并通过 TCP 进行流式传输

先决条件：确保 Weston 正在运行。

以下gst-launch管道提供两个 1080p 分辨率 H.264/AVC 编码视频流的捕获。一个流存储到文件，而另一个流通过网络 (TCP) 传输。

gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux1.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=640,height=480,framerate=30/1 ! queue ! qtic2venc ! h264parse config-interval=-1 ! mpegtsmux name=muxer ! queue ! tcpserversink port=8900 host=127.0.0.1

  1. 该qtiqmmfsrc元素用于捕获和编码两个视频流。

  2. h264parse和元素mp4mux处理第一个流中的缓冲区并准备存储它们。

  3. 该filesink元素存储文件中第一个流的缓冲区。

  4. h264parse和元素mpegtsmux处理来自第二个流的缓冲区并为流式传输做好准备。

  5. 然后该tcpserversink元素将缓冲区发送到网络上。队列元素确保每个路径/轨道独立运行。

  6. 播放设备上的内容。

  7. 要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。

    adb pull /data/mux1.mp4

请添加图片描述

查看主机上的 TCP 流

先决条件：

  1. 在主机上安装 adb 和VLC Media Player 。
  2. 在环境变量中设置二进制和可执行文件路径。

要查看主机上的 TCP 流，请执行以下操作：

  1. 在Linux主机上，运行以下命令：

    adb forward tcp:8900 tcp:8900

    vlc -vvv tcp://127.0.0.1:8900

  2. 在Windows主机上执行以下命令：

    • 运行命令。

      adb forward tcp:8900 tcp:8900

    • 启动VLC 媒体播放器。

    • 选择媒体/打开网络流（或按 CTRL + N）

    • 输入网络 URL。tcp://127.0.0.1:8900

    • 单击“播放”。

4.3.3 两个 H.264 流：保存到文件和实时相机预览

先决条件：确保 Weston 正在运行。

以下gst-launch管道在显示用例上提供同步记录和实时预览：

  • 对于 Linux Ubuntu：

    export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! waylandsink fullscreen=true enable-last-sample=false qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux1.mp4

  • 对于嵌入式 Linux：

    export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! waylandsink fullscreen=true enable-last-sample=false qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux1.mp4
  1. 该qtiqmmfsrc元件用于生成4K分辨率编码视频流和1080p分辨率YUV流。
  2. 和h264parse元素mp4mux处理编码视频流。
  3. 该filesink元素将流存储在设备上的文件中。

请添加图片描述
YUV流由元素渲染在显示面板上waylandsink。

要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull，然后在主机 PC 上播放该内容。

adb pull /data/mux1.mp4

要在设备上播放内容，请参阅验证 Weston。

4.4 记录器：3 流并发用例

有关上游 GStreamer 插件和元素的信息，请参阅 GStreamer 文档，网址为https://gstreamer.freedesktop.org/documentation/plugins_doc.html。

4.4.1 三个视频流：保存到文件

以下gst-launch管道提供同步 1080p 视频录制用例：

gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux1.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux2.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux3.mp4

  1. 该qtiqmmfsrc元素用于捕获和编码所有三个视频流。

  2. h264parse,元素mp4mux处理缓冲区并准备存储。

  3. 队列元素确保每个路径/轨道独立于另一个运行。

  4. 这些filesink元素将缓冲区存储在相应的文件中。

  5. 播放设备上的内容。

  6. 要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull，然后在主机 PC 上播放该内容。

    adb pull /data/mux1.mp4
adb pull /data/mux2.mp4
adb pull /data/mux3.mp4

请添加图片描述

4.4.2 三个视频流：保存到文件、通过 TCP 流式传输以及实时预览

先决条件：确保 Weston 正在运行。

以下gst-launch管道提供同步 4K 录制、显示屏上的 1080p 实时预览和 480p 流媒体用例。

gst-launch-1.0 -e qtiqmmfsrc name=qmmf camera=0 ! video/x-raw\(memory:GBM\),format=NV12,width=3840,height=2160,framerate=30/1 ! queue ! qtic2venc ! queue ! h264parse ! mp4mux ! queue ! filesink location=/data/output/mux1.mp4 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=640,height=480,framerate=30/1 ! queue ! qtic2venc ! h264parse config-interval=-1 ! mpegtsmux name=muxer ! queue ! tcpserversink port=8900 host=127.0.0.1 qmmf. ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! waylandsink fullscreen=true enable-last-sample=false

  1. 该qtiqmmfsrc元素用于生成两个编码视频流（4K 和 480p 分辨率）和一个 1080p YUV 流。

  2. h264parse第一个编码视频流由和元素处理mp4mux。

  3. 该filesink元素将其存储在设备上的文件中。

  4. h264parse第二编码流由和元件处理mpegtsmux，并由该tcpserversink元件通过 TCP 进行流传输。

  5. 第三原始 YUV 流由该元素渲染在显示面板上waylandsink。

  6. 播放设备上的内容。

  7. 要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。

    adb pull /data/mux1.mp4

查看主机上的 TCP 流

先决条件：

  1. 在主机上安装 ADB 和VLC Media Player 。
  2. 在环境变量中设置二进制/可执行文件路径。

要查看主机上的 TCP 流，请执行以下操作。

  1. 在Linux主机上，运行以下命令：

    adb forward tcp:8900 tcp:8900

    vlc -vvv tcp://127.0.0.1:8900

  2. 在Windows主机上，运行以下命令。

    1. 运行命令。

      adb forward tcp:8900 tcp:8900

    2. 启动VLC 媒体播放器。

    3. 选择媒体/打开网络流（或按 CTRL + N）

    4. 输入网络 URLtcp://127.0.0.1:8900

    5. 单击“播放”。

weixin_38498942
关注
  • 16
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RB1_UTS_171401067_robotics_源码
10-04
Modern robotics exercise from university
Qualcomm Robotics RB5 平台软件用户指南（14）
最新发布
weixin_38498942的博客
04-25 720
该BCMDump.cmm []脚本转储每个 VCD 和 BCM 实例的信息。最终选定的时钟计划（FINAL_CP）以及SND CP和聚合CP的聚合（AGG_CP）；子系统名称可以是应用程序处理器、调制解调器、音频、传感器、AOP、调试、GPU、显示或计算 DSP。CMM 脚本在解析每个资源（例如，BCM 或虚拟时钟域 (VCD)）时检查以下内容。VRM包含当前资源状态(CRS)寄存器，其指示最终的VRM资源设置稳定状态。Sel_CP是BCM特殊节点CP选择，基于延迟投票和当前投票负载。
Qualcomm Robotics RB5 平台软件用户指南（13）
weixin_38498942的博客
04-25 900
qti-Ubuntu-robotics-image-qrb5165-rb5-sysfs.ext4：Android 稀疏映像，版本：1.0，总计：11950 个输入块中的 8192000 4096 字节输出块。如果 GDB 在目标上不可用，请添加gdb并 poky/meta-qti-bsp/recipes-core/packagegroups/packagegroup-qti-debug-tools.bb重新构建。生成的图像qti-console-image可以使用 GDB 进行远程调试。
Qualcomm Robotics RB5 平台软件用户指南（9）
weixin_38498942的博客
04-18 786
中的压缩参数capsfilter用于控制UBWC，当设置为compression=UBWC时，将为该特定流启用UBWC。下图说明了由放置在 2 × 2 网格中的四个输入构成的输出的用例，其中一个输入流是摄像机的 1080p 实时预览，其余三个流是 1080p 录像机视频。插件qtic2venc对其进行编码，码率为6 Mbps，码率控制设置为恒定，I帧间隔设置为29，即每第30帧为I帧。在此用例中，1080p AVC 视频流被解码为 YUV，缩小为 720p，然后在 AVC 编码后转储到文件。
Qualcomm Robotics RB5 平台软件用户指南（7）
weixin_38498942的博客
04-18 1105
先决条件：如果/etc/camera/camxoverridesettings.txtdisableAFDStatsProcessing中不存在，请运行以下命令以确保存在SHDR 设置。先决条件：如果/etc/camera/camxoverridesettings.txtdisableAFDStatsProcessing中不存在 ，请运行以下命令以确保存在 SHDR 的相机覆盖设置。要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。
Qualcomm Robotics RB5 平台软件用户指南（12）
weixin_38498942的博客
04-25 562
Qualcomm 神经处理 SDK：执行用例的步骤。TensorFlow Lite：执行用例的步骤。
Workspace for 6DOF robots.rar_6dof_Robotics ToolBox_Robotics To
07-14
可进行6自由度机器人工作空间的分析，需要MATLAB安装有ROBOTICS TOOLBOX
fk_roboticarm_6dof_robotics_
10-03
6 dof robot forward kinematics
Matlab Robotics Toolbox 9.10软件以及说明书
06-11
Matlab Robotics Toolbox 9.10 软件以及说明书，本软件可以利用机器人运动学与动力学建模。
autorally:AutoRally平台软件
04-28
AutoRally研究平台的软件。 BibTex： @article{goldfain2019autorally, title={AutoRally: An Open Platform for Aggressive Autonomous Driving}, author={Goldfain, Brian and Drews, Paul and You, Changxi ...
OpenCL优化案例研究 (4)
热门推荐
weixin_38498942的博客
05-27 1万+
OpenCL优化案例研究 （4）9.3 Sobel滤波9.3.1 算法优化9.3.2 数据包优化9.3.3 向量化加载/存储优化9.3.4 性能和总结9.4 总结 9.3 Sobel滤波 Sobel滤波，又称Sobel算子，被用于许多图像处理和计算机视觉算法的边缘检测。它使用两个3x3核与原始图像结合来近似求导数。有两个内核，一个是水平方向，另一个是垂直方向，如图9-7所示。 图9-7 Sobel滤波的双向操作 9.3.1 算法优化 Sobel滤波是一个可分离滤波，可以分解为: 图9-8 Sobel 滤
车载信息服务软件开发包使用指南（15）
weixin_38498942的博客
01-16 6720
车载信息服务软件开发包使用指南（15）
NB-IOT 通信问题-IP老化
weixin_38498942的博客
02-18 2946
1.IP老化问题 在项目中，存在设备端订阅后，通过app下发数据失败的问题，问题定位：IP会出现老化（通信的IP和端口发生变化）。由于UDP 通信方式，终端通过核心网EPC 与其他公网的服务器通信 时，EPC 会将内网的IP 映射成一个外网的IP 加端口，这一映射关系存在老化机制。实际测试发现：如果成功入网的设备超过2 分钟不与公网服务器进行数据交互，则上次通信的IP 及端 口映射关系失效，此时即...
人体骨骼关键点检测综述(1)
weixin_38498942的博客
02-19 2492
一、简介 实现人体检测，通常采用人体姿态估计（Human Posture Estimation），即将图片中已检测到的人体关键点正确联系起来，从而实现人体姿态的估计，实现人体的检测。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等。 通过对人体关键点在三维空间相对位置的计算，可以估计人体当前的姿态。同时如果增加时间序列，在一段时间内观测人体关键点的位置变化，可以更加准确...
OpenCL内存性能优化 (3)
weixin_38498942的博客
05-20 2369
OpenCL内存性能优化 （3）7.4零拷贝7.4.1使用map代替copy7.4.2 避免对非OpenCL分配的对象进行内存复制7.4.2.1 ION内存扩展7.4.2.2 QTI Android原生缓冲区(ANB)扩展7.4.2.3 使用标准EGL扩展7.5 提高缓存利用率7.6 CPU缓存操作7.7 SVM的使用7.8 减少功耗耗的最佳操作 7.4零拷贝 Adreno OpenCL提供了一些机制来避免在主机端可能发生的昂贵的内存复制操作。根据内存对象的创建方式，有几种不同的选项可以避免过度复制。 7.
OpenCL内核性能优化
weixin_38498942的博客
05-20 2226
OpenCL内核性能优化8 内核性能优化8.1 内核融合或分裂8.2编译器选项8.3 Conformant vs. fast vs. vs. native math functions8.4循环展开8.5 避免分支8.6 处理图像边界8.7 32位与64位GPU内存访问8.8 避免使用size_t8.9 通用内存地址空间8.10 其它 8 内核性能优化 本节介绍有关内核优化的技巧。 8.1 内核融合或分裂 一个复杂的应用程序可能包含许多阶段。对于OpenCL的移植和优化，人们可能会问应该开发多少个内核。这很
人体骨骼关键点检测综述(2)
weixin_38498942的博客
02-20 2169
五、OpenPose库OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。其理论基础来自Realtime Multi-Person 2D Pose Estimati...
Qualcomm® AI Engine Direct 使用手册（1）
weixin_38498942的博客
12-21 2146
本文档提供 Qualcomm® AI Engine Direct 软件开发套件 (SDK) 的参考指南。笔记Qualcomm® AI Engine Direct 在源代码和文档中也称为 Qualcomm 神经网络 (QNN)。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。
WIFI无线测距技术(1)
weixin_38498942的博客
05-11 1843
Wi-Fi测距技术使用飞行时间测量来估计两个Wi-Fi设备之间的距离。十多年来，这项技术一直使应用程序开发人员和其他解决方案实现者能够提供各种服务，包括室内导航、资产跟踪、地理围栏、访问控制（锁定/解锁）和设备操作，所有这些都在不牺牲房地产或整体BOM成本的情况下提高了准确性和性能。自2009年实施以来，高通的Wi-Fi测距技术已在全球数十亿台设备中出货，并有明显的加速采用的迹象。射程能力也在几代人中不断改进。在性能方面，Wi-Fi无线电有四个关键特征来决定其测量的准确性：频率带宽的利用、多天线技术的使用.
Robotics Toolbox创建ur5机械臂模型
05-25
要使用Robotics Toolbox创建ur5机械臂模型，您需要遵循以下步骤： 1. 安装MATLAB Robotics Toolbox。 2. 下载Universal Robots URDF文件。 3. 将URDF文件导入MATLAB中并使用robotics.URDF类读取。 4. 使用robotics.RigidBodyTree类创建机器人模型。 5. 添加所有关节和链接。 6. 定义机器人末端执行器（End Effector）。 7. 设置机器人的关节角度和末端执行器位置。 这里是一个示例代码，可以帮助您进一步了解如何使用Robotics Toolbox创建ur5机械臂模型： ``` % 安装Robotics Toolbox % 下载URDF文件 urdf = 'ur5.urdf'; ur5 = robotics.URDF(urdf); % 创建RigidBodyTree对象 robot = robotics.RigidBodyTree; % 添加链接 link1 = robotics.RigidBody('link1'); joint1 = robotics.Joint('joint1', 'revolute'); setFixedTransform(joint1, trvec2tform([0 0 0])); joint1.JointAxis = [0 0 1]; link1.Joint = joint1; addBody(robot, link1, 'base'); link2 = robotics.RigidBody('link2'); joint2 = robotics.Joint('joint2', 'revolute'); setFixedTransform(joint2, trvec2tform([0 0 0.163])); joint2.JointAxis = [1 0 0]; link2.Joint = joint2; addBody(robot, link2, 'link1'); % ... 添加更多链接和关节 % 添加末端执行器 eeBody = robotics.RigidBody('EndEffector'); setFixedTransform(eeBody.Joint, trvec2tform([0 0 0.09])); addBody(robot, eeBody, 'tool0'); % 设置关节角度和末端执行器位置 q = zeros(1,6); eePos = [0.4 0.1 0.3]; eeOri = [pi/2 0 pi/2]; tform = eul2tform(eeOri); tform(1:3, 4) = eePos; q = ik(eeBody, tform, [1 1 1 0 0 0]); show(robot, q); ``` 这个示例代码将创建一个ur5机械臂模型，并设置关节角度和末端执行器位置。您可以通过修改关节角度和末端执行器位置来控制机器人的运动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值