ardupilot开发 --- RealSense-D400 篇

已于 2024-05-09 14:55:50 修改
阅读量443 收藏 2
点赞数 6
分类专栏： 无人机技术 文章标签： Ardupilot
于 2024-04-28 17:37:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43321489/article/details/138284219
版权

目录

0. 一些概念

  • 官网：Intel RealSense
  • 选型：D455相机
  • Intel.RealSense 所有 SDK 介绍，参考：
    • (1) Intel RealSense SDK 2.0
      用于：D400系列相机、L500系列雷达的程序开发；
      用在：目标检测、跟踪、分类、SLAM、位姿估计、视觉伺服等应用；
    • (2) Intel RealSense ID SDK
      用于：F400系列相机的程序开发；
      用在：面部识别应用开发；
  • 首页的导航可以链接到任何地方：下载、文档、论坛、案例、getting start…
    在这里插入图片描述
  • 白皮书（whitepapers）
    了解 Intel RealSense 公司正在进行的创新和研究，以获得市场上最全面的计算机视觉产品组合。
  • Get started
    • 某个型号产品的 Get started
      Home ~> Products ~> D455 ~> 网页底部 ~> Get started
    • 所有产品(SDK)的Get started、开发中心
      Home ~> Developers ~> Get started
  • Support
  • 开发中心
    https://www.intelrealsense.com/developers/
  • 开发文档
    Intel RealSense Documentation
  • Github
    https://github.com/IntelRealSense/librealsense
  • 什么是 Datasheet
    就是 规格书、数据手册
  • 固件 Firmware
    运行在相机设备的芯片上的固件。

1. 用 windows 检查相机是否正常

使用 Intel.RealSense官方提供的 Intel.RealSense.Viewer 工具可直接查看相机视频流。windows、Linux、Android系统皆可。

2. Intel RealSense SDK 2.0

2.1 一些概念

  • 支持的设备：D400系列相机、L500系列雷达

  • Intel RealSense SDK 2.0 支持以下编程语言、开发框架、平台、操作系统：
    在这里插入图片描述

  • SDK 包括哪些内容？

    • Intel RealSense Viewer
    • Depth Quality Tool
    • Debug Tools
    • Code Samples
    • Wrappers

  • 发行日志
    各发行版本的概况：librealsense/releases
    描述了更新细节：librealsense/wiki/Release-Notes

  • wiki
    在这里插入图片描述

  • Supported Platforms
    操作系统、Linux 发行版本、Linux 内核版本
    可在发行日志中查看，支持的平台和系统官方会持续的更新…
    如：
    在这里插入图片描述

2.2 在其他系统上安装

参考：https://dev.intelrealsense.com/docs/installation

2.3 在Linux上安装

参考

【1】https://dev.intelrealsense.com/docs/compiling-librealsense-for-linux-ubuntu-guide
【2】https://github.com/IntelRealSense/librealsense/blob/master/doc/distribution_linux.md

注意事项

1）不支持在虚拟机中安装。
2）在Linux上运行RealSense深度相机需要给Linux内核打补丁例如插入一些经过修改的内核驱动程序（见安装步骤：./scripts/patch-realsense-ubuntu-lts-hwe.sh或 ./scripts/patch-realsense-ubuntu-lts.sh，patch即补丁的意思）。一些OEM、设备供应商选择锁定内核进行修改。解锁此功能可能需要修改BIOS设置。
3）Linux build configuration is presently configured to use the V4L2 backend by default

查看SDK支持的 Linux 发行版本、Linux 内核版本

Ubuntu 18.04/20.04/22.04 LTS (1) .
Linux kernel versions: 4.[4, 8,10,13,15], 4.16(2), 4.18, 5.[0, 3, 4, 8, 13, 15, 19], 6.[2, 5].
持续更新中…
查看方法：
发行日志：https://github.com/IntelRealSense/librealsense/releases
~> 滚动到想要安装的版本，如 Intel® RealSense™ SDK 2.0
~> Supported Platforms
如：
在这里插入图片描述

卸载

  • 通过apt安装
    参考：Uninstalling the Packages
  • 通过 make install 安装
    cd ~/librealsense/build/
sudo make uninstall
sudo make clean
./scripts/setup_udev_rules.sh --uninstall
    如：
    在这里插入图片描述
  • 通过 libuvc_installation.md 方式安装
    除了
    cd ~/librealsense_build/librealsense-master/build
sudo make uninstall
sudo make clean
./scripts/setup_udev_rules.sh --uninstall
    之外，还需要执行：
    sudo rm /etc/udev/rules.d/99-realsense-libusb.rules
sudo rm /etc/udev/rules.d/99-realsense-d4xx-mipi-dfu.rules
sudo udevadm control --reload-rules && sudo udevadm trigger

Package Details

在这里插入图片描述

什么是DKMS 、librealsense2-dkms

DKMS 即 Dynamic Kernel Module Support (DKMS)，可参考这里。
在Ubuntu中可以使用 apt 工具安装 librealsense2-dkms.

安装方式

安装方式选择

  • 一般情况下选择 DKMS package 方式安装，强烈建议。
  • 以下情况下选择源码编译方式安装：
    • Using SDK with non-LTS Ubuntu kernel versions: **4.16 **时；
    • 需要将自定义补丁、模块集成到 librealsense SDK 中时；
    • 需要为替补角色的Linux内核、Linux发行版系统而调整内核补丁时；

安装路径

不管是通过 apt 安装还是通过 make install 的方式安装，安装路径如下：

  • The shared object will be installed in /usr/local/lib
  • header files in /usr/local/include
  • The binary demos, tutorials and test files will be copied into /usr/local/bin

安装成功验证

  • 通过apt安装
    • run: realsense-viewerto verify the installation.
    • 运行例程
      在终端输入rs-，然后双击tab键会列出所有可用例程。
      执行某个例程如 rs-depth 。
    • Verify that the kernel is updated :
      modinfo uvcvideo | grep "version:"should include realsense string
  • 通过 make install 安装
    • run: realsense-viewerto verify the installation.
    • 运行例程
      在终端输入rs-，然后双击tab键会列出所有可用例程。
      执行某个例程如 rs-depth 。
    • 验证系统内核补丁是都安装成功
      sudo dmesg | tail -n 50
      The log should indicate that a new uvcvideo driver has been registered.
      如：
      在这里插入图片描述

cmake 编译选项

参考：build configuration
在这里插入图片描述

其他

2.4 在 Nvidia Jetson 上安装

2.4.1 知识预备

  • 参考：Nvidia Jetson installation 或：installation_jetson.md

  • 在 Nvidia Jetson 上安装与在Linux上安装的唯一区别只是打内核补丁时运行的脚本不同，其他的大致相同。

  • 最低要求
    JetPack version 4.4.1 ( L4T 32.4.4 , CUDA version 10.2).

  • RealSense SDK 的后台方式有两种可供选择：
    1）Using Native Backend，优点：稳定；缺点：需要为系统打内核补丁；
    2）Using RSUSB Backend，优点：不需要为系统打内核补丁；缺点：需要将驱动程序编译到SDK中，不稳定？；
    推荐使用第一种，特别是在生产环境中，参考。

  • 兼容性
    本次记录时间2024-05-06，兼容性在不断地更新中…

    • Jetson AGX boards with JetPack 4.2.3[L4T 32.2.1,32.2.3], 4.3[L4T 32.3.1], 4.4[L4T 32.4.3], 4.5.1[L4T 32.5.1] and 5.0.2[L4T 35.1.0] 适用！
    • Jetson Nano board 不适用！！
    • Jetson Orin™ with JetPack 6.0 不适用！！

  • 需要不低于2.5Gb的闪存空间。

  • 最好将Jetson开发板设置为 Max power mode (desktop -> see the upper right corner)。

  • 安装了JetPack 6.0 的Jetson Orin 系列开发板如何安装 Intel RealSense SDK 2.0 ？
    Intel® RealSense™ camera driver for GMSL* interface

  • 遇到报错1
    Unsupported kernel version 5.10.104-tegra . The Focal patches are maintained for Ubuntu LTS with kernel 5.4, 5.8, 5.11 only
    解决：内核补丁脚本不支持该平台运行的Linux内核！即无法为该内核版本的系统打补丁。建议使用 RSUSB Backend 方式 编译 SDK，这样就不需要打系统内核补丁了！

  • 遇到报错2
    为系统打补丁( ./scripts/patch-realsense-ubuntu-L4T.sh ) 时报错：
    在这里插入图片描述
    解决：内核补丁脚本(scripts/patch-realsense-ubuntu-L4T.sh)不支持该平台运行的Linux内核！即无法为该内核版本的系统打补丁。建议使用 RSUSB Backend 方式 编译 SDK，这样就不需要打系统内核补丁了！

  • 遇到报错3
    在cmake时添加-DBUILD_WITH_CUDA=true 报错

  • cmake 编译选项
    参考：build configuration
    FORCE_RSUSB_BACKEND与 FORCE_LIBUVC、ANDROID_USB_HOST_UVC、FORCE_WINUSB_UVC 时等价的。后3者只是在不同平台下的不同命名罢了。

2.4.2 通过 apt 方式安装

限制：

  • Ubuntu 16/18/20/22 LTS.
  • Linux kernels 4.4, 4.8, 4.10, 4.13, 4.15, 4.18*, 5.0*, 5.3*, 5.4, 5.13, 5.15, 5.19, 6.2 and 6.5.

参考：Nvidia Jetson installation
略…

2.4.3 通过编译源码方式安装

以 Jetson Orin Nano 开发板为例。

  • 0）先将Jetson开发板刷好 JetPack

  • 1）断开相机与 Jetson 开发板的连接。

  • 2）选择一个SDK版本，下载源码，如选择最新版本：

    cd ~
git clone https://github.com/IntelRealSense/librealsense.git

  • 3）选择SDK的后台方式
    在不同平台上安装 Real Sence SDK2.0 官方推荐的后台配置方式：
    在这里插入图片描述
    那么Default cmake是指选择哪种后台方式呢？不指定FORCE_RSUSB_BACKEND直接 cmake .. 吗 ？？？

  • 4）若选择 RSUSB Backend 方式，接下来的步骤请参考：libuvc_installation.md。
    如果安装了CUDA，在cmake时请不要忘记添加-DBUILD_WITH_CUDA=true以获得最佳性能。

  • 5）若选择 Native Backend 方式（推荐），请接着往下看…

  • 6）为 Jetson L4T 内核安装一个补丁使得可以让SDK使用 V4L Native backend.
    注意：此处对于内核补丁的安装方式仅适用于：

    • Jetson AGX boards with JetPack 4.2.3[L4T 32.2.1,32.2.3], 4.3[L4T 32.3.1], 4.4[L4T 32.4.3], 4.5.1[L4T 32.5.1] and 5.0.2[L4T 35.1.0] 适用！
    • Jetson Nano board 不适用！！
    • Jetson Orin™ with JetPack 6.0 不适用！！

  • 7）接下来的所有步骤请参考：Building from Source using Native Backend 或 Doc：Building from Source using Native Backend

  • 8）由于本 Jetson Orin Nano 开发板安装的是JetPack5.1.1，Linux内核版本是5.10.104，并不支持安装内核补丁，即运行scripts/patch-realsense-ubuntu-L4T.sh脚本时报错：
    在这里插入图片描述
    因此只能 使用 RSUSB Backend 方式 编译 SDK，这样就不需要打系统内核补丁了！
    注意：使用libuvc_installation.sh脚本默安装的是最新版本的SDK，假如需要安装不同版本的SDK请修改libuvc_installation.sh中的以下代码：

    wget https://github.com/IntelRealSense/librealsense/archive/master.zip
unzip ./master.zip -d .
cd ./librealsense-master

几点疑问：

  • Building from Source using Native Backend 时，因为./scripts/patch-realsense-ubuntu-L4T.sh 并不适用于Jetson Orin Nano 开发板安装的JetPack5.1.1，为什么跳过步骤./scripts/patch-realsense-ubuntu-L4T.sh 依旧会安装成功？？
  • cmake ..或 cmake .. -DFORCE_RSUSB_BACKEND=true 或使用libuvc_installation.md安装
    提示 using RS2_USE_LIBUVC_BACKEND
  • cmake .. -DFORCE_RSUSB_BACKEND=false
    提示 using RS2_USE_V4L2_BACKEND
    在这里插入图片描述
    待续…

2.4.4 安装总结

  • 情形1
    针对可以打系统内核补丁的开发板，如Jetson AGX boards with JetPack 4.2.3[L4T 32.2.1,32.2.3], 4.3[L4T 32.3.1], 4.4[L4T 32.4.3], 4.5.1[L4T 32.5.1] and 5.0.2[L4T 35.1.0].
    # 更新系统，最好不用执行会影响其他
#sudo apt-get update && sudo apt-get upgrade && sudo apt-get dist-upgrade
# 安装编译工具
sudo apt-get install git wget cmake build-essential
# 安装依赖库
sudo apt-get install git libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev 
# 如果你想为SDK构建支持OpenGL的示例，请安装以下依赖
sudo apt-get install libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev
# 下载源码，可以选择合适的版本
cd ~/shd
git clone https://github.com/IntelRealSense/librealsense.git
cd librealsense
# 为 Jetson L4T 打系统内核补丁
./scripts/patch-realsense-ubuntu-L4T.sh 
# Realsense permissions script
./scripts/setup_udev_rules.sh
# 编译
mkdir build && cd build
cmake .. -DBUILD_EXAMPLES=true -DCMAKE_BUILD_TYPE=release -DFORCE_RSUSB_BACKEND=false -DBUILD_WITH_CUDA=true
make -j$(($(nproc)-1))
# 安装，默认安装在usr/local中
sudo make install
  • 情形2
    仅跳过打系统内核补丁步骤
    针对 Jetson 其他系列的开发板如Jetson Nano系列、 Jetson Orin 系列、其他按照以上安装不成功的平台。
    如果跳过打内核补丁步骤导致安装不成功，请使用 libuvc_installation.md 进行安装。
    # 更新系统，最好不用执行会影响其他
#sudo apt-get update && sudo apt-get upgrade && sudo apt-get dist-upgrade
# 安装编译工具
sudo apt-get install git wget cmake build-essential
# 安装依赖库
sudo apt-get install git libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev 
# 如果你想为SDK构建支持OpenGL的示例，请安装以下依赖
sudo apt-get install libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev
# 下载源码，可以选择合适的版本
cd ~/shd
git clone https://github.com/IntelRealSense/librealsense.git
cd librealsense
# Realsense permissions script
./scripts/setup_udev_rules.sh
# 编译
mkdir build && cd build
cmake .. -DBUILD_EXAMPLES=true -DCMAKE_BUILD_TYPE=release -DBUILD_WITH_CUDA=true
make -j$(($(nproc)-1))
# 安装，默认安装在usr/local中
sudo make install
  • 情形3
    针对不支持打内核补丁、按照 installation.md 安装失败的平台。此法支持更广泛的平台，包括较旧、较新的内核版本
    例如 Jetson 其他系列的开发板如Jetson Nano系列、 Jetson Orin 系列、其他按照以上安装不成功的平台等。
    参考：libuvc_installation.md

3. ROS + D455

https://www.yahboom.com/study/Realsense-D400series

4. ROS + Intel RealSense camera 实现室内 VSLAM

jetson_isaac_ros_visual_slam_tutorial

干了这碗汤
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【C++】RealSense开发 初体验 安装驱动 测试demo
你好呀，欢迎你的到来。
05-17 1945
 
IntelRealSense系列SDK开发
weixin_46363611的博客
12-13 6247
目录IntelRealSense系列SDK开发Samples获取数据基本流程获取同步数据：深度/彩色获取运动数据：陀螺仪，加速计使用回调函数获取数据进阶操作使用不同的管线获取同一设备不同流同时开启不同设备开发采集工具 IntelRealSense系列SDK开发 RealSense系列深度传感器由Intel公司开发的消费级深度相机，需使用SDK对其进行开发，主要是了获得其传感器数据。 Samples 其中， im-show 提供支持OpenCV的数据接口与显示程序 motion 展示了如何从获取数据中解
Jetson Xavier NX驱动模块动态加载
propor的专栏
04-28 506
Jetson,驱动模块安装
ardupilot开发 --- Jetson Orin Nano 后篇
记录老板的每次pua，分享领导每天的毒鸡汤...
06-21 993
ardupilot开发 --- Jetson Orin Nano 后篇
Realsense开发
weixin_34247155的博客
08-16 134
https://blog.csdn.net/SCUT_Arucee/article/details/50956076 人脸识别 https://blog.csdn.net/SCUT_Arucee/article/details/51016937 api 基本操作 https://github.com/IntelRealSense/librealsense/wiki/API-How-To ...
RealSense D435 的开发日记(API 汇总）
zzqingyun的博客
06-23 2635
通过SDK提供的图像流都关联一个独立的2D以像素为单位的坐标系。[0,0]点位于左上角，[w-1,h-1]点位于右下角。w和h分别代表列和行，从相机的角度来看，x轴指向右边，y轴指向下边。这个坐标系就是所谓的像素坐标系，用来索引特定的像素点。...
RealSense D435 的开发日记(pyrealsense小实战项目）
zzqingyun的博客
06-22 1791
pyrealsense小实战项目
realsense-ros-2.3.2
08-04
Intel Realsense相机家族包括多个型号，如D400系列（D415、D435等）和T265追踪摄像头，它们都支持多种传感器数据的输出，如深度图、红外图像、颜色图像等。 在压缩包“realsense-ros-2.3.2”中，我们可以期待找到...
3D计算机视觉使用的深度相机（RGB-D相机），Intel realsense 的D400 系列的数据手册
最新发布
07-20
### 3D计算机视觉使用的深度相机（RGB-D相机）——Intel realsense D400系列数据手册 #### 概述 本数据手册主要介绍了Intel® RealSense™ D400系列深度相机的相关规格和技术参数，包括但不限于D435、D435i以及D...
Intel-RealSense-D400-Series-Datasheet-May-2020.pdf
05-23
因特尔深度摄像头D400系列最新规格书 英特尔® 实感™ D400 系列摄像头采用安装简便的便携式设计，支持高深度分辨率，并包括具有标准或宽视场的主动红外双目传感器。对于高精度应用领域，请选择采用卷帘快门的 D415...
ddynamic_reconfigure-kinetic-devel.zip
10-08
Realsense-ROS是官方提供的ROS接口，用于集成和控制Intel Realsense系列的3D相机，如D400系列或T265追踪相机。ddynamic_reconfigure可以与realsense-ROS配合，让开发者在运行时动态调整Realsense相机的各种参数，...
RealSense 实感技术开发实时背景去除视频流，
01-24
RealSense 实感技术开发实时背景去除视频流，c++,亲是可用，与视频流实时交互，
librealsense的开发源码
02-28
使用intel公司的realsense相机，可以参考该文件夹内的源代码进行开发
Intel-RealSense-D400-Series-Datasheet
07-29
Intel RealSense D400系列摄像头使用文档 /Intel RealSense D400系列摄像头使用文档
matlab控制realsense,RealSense开发学习--1.初识RealSense
weixin_35999669的博客
03-21 1442
RealSense3D实感技术是Intel研发的一项新的技术。这项技术利用摄像头，红外投影传感设备及红外捕捉设备获取外界的深度信息，彩色视频信息以及其它信息。并基于此完成获取深度图像，彩色图像，手势识别，面部识别，语音识别，三维重建等工作。之前2年时间学习，毕业设计和工作接触了Kinect1代和2代。2014年末参加Intel实感技术全球挑战赛，也接触过一段时间RealSense。​相较于Kine...
RealSense开发环境配置
linghugoolge的博客
08-22 968
1、RealSense硬件驱动 将RealSense连接Win10系统会自动安装驱动（在设备管理器中可以看到） 2、RealSense开发SDK 2.1下载SDK https://software.intel.com/en-us/intel-realsense-sdk/download ...
PyRealsense开发心得总结（VScode+pyrs+PyQt5+OpenCV+Open3d）
KalutSirocco的博客
09-19 3271
记录开发pyrs过程常用的代码结构，包括基础的pipeline和frame处理，结合PyQt和OpenCV开发交互界面显示彩色图像和深度图像，基于PyQt和Open3d开发点云显示，以及开发c++的函数库和应用。如果未特别标明系统环境，则默认是在Windows环境下开发。本文在作者毕业前长期更新，面向萌新，希望抛砖引玉，欢迎大佬批评指正。
realsense深度相机开发-工作记录-2021年7月2日
pancaicai的博客
07-02 144
2021年7月2日 问题一：学习使用realsense sdk中带有的示例程序，在新建自己的project时，报错：找不到引用。 在项目属性中配置了项目依赖目录，还是报错，久久找不到原因。看到两篇文章：(2条消息) VC设置项目属性时"从父级或项目默认设置继承"中的父级在哪里？_dcba62的专栏-CSDN博客和(2条消息) VC设置项目属性时"从父级或项目默认设置继承"中的父级在哪里？_icbm的专栏-CSDN博客想到了，需要到属性管理器中去设置。 添加完两页配置文件后，不再报错。开心。
发现realsense居然有专门的书《RealSense互动开发实战》
诗筱涵的博客
08-06 566
发现realsense居然有专门的书 我是想在TB搜下realsense，没想到还真有书。 《RealSense互动开发实战》
cx_Oracle.DatabaseError: DPI-1072: the Oracle Client library version is unsupported
06-07
当您遇到 `cx_Oracle.DatabaseError: DPI-1072: the Oracle Client library version is unsupported` 这样的错误时，这表明您的Python连接库 (`cx_Oracle`) 试图与不兼容的Oracle数据库客户端版本进行交互。Oracle数据库客户端库（即ODBC或OCI）的版本与cx_Oracle模块不匹配，导致连接失败。 具体可能的原因有： 1. cx_Oracle库的版本与您正在尝试连接的Oracle数据库服务器使用的客户端库版本不兼容。 2. 您可能安装了旧版本的Oracle客户端软件，而cx_Oracle期望的是更新的版本。 3. 配置文件中没有正确设置数据库客户端库的路径或版本信息。 解决这个问题的方法通常包括： 1. **升级Oracle客户端库**：确保您使用的Oracle客户端版本与cx_Oracle库相匹配，或者更新到一个支持的版本。 2. **检查环境变量**：确认`TNS_ADMIN`和`LD_LIBRARY_PATH`（Windows上是`PATH`）环境变量指向了正确的Oracle客户端库目录。 3. **配置cx_Oracle连接参数**：在cx_Oracle的连接字符串中明确指定客户端库的版本，例如`dsn=...;version=19.3`，如果适用的话。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值