stereodemo：小型Python工具，用于比较和可视化各种立体深度估计算法的输出。

已于 2022-06-08 09:25:54 修改
阅读量725 收藏 6
点赞数 3
文章标签： python 算法 计算机视觉 OAK相机 opencv
于 2022-06-08 09:13:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oakchina/article/details/125164650
版权

编辑：OAK中国
首发：oakchina.cn
喜欢的话，请多多👍⭐️✍

▌前言

Hello，大家好，这里是OAK中国，我是助手君。

从立体图像中估计深度，目前已经取得了大量的进展。但是现在最先进的方法都是基于深度学习的，能达到难以置信的准确度，甚至是在无纹理的光滑表面也能有不错的深度效果。不过这些算法到底有什么差别呢？今天分享的这个工具，就能让你清晰地对比出差别。
在这里插入图片描述

这个工具由Nicolas Burrus制作并开源分享给所有OAK用户，他将一些产生立体图像和点云的开源方案都汇总了，方便对比不同算法输出的效果，项目地址可在此处查看。（注：也可以在开源项目页面查看，序号【49】）

▌包含的算法

  • OpenCV StereoBM和StereoSGBM：这些 "传统的 "非深度学习方法是基于区块匹配，旨在作为一个基线。它们的内存占用量很小，速度很快，但在无纹理区域会很吃力，而且往往很稀疏，噪点也多。使用OpenCV 4.5.5的实现。
  • CREStereo (CVPR 2022): "通过具有自适应相关性的级联递归网络进行实用的立体匹配"。他们的目标是提供一种鲁棒的算法，能够处理近似校准和消费级相机。他们还试图通过使用局部搜索窗口而不是全局搜索来提高内存效率。它们共享在SceneFlow、Sintel、Middlebury、ETH3D、KITTI、Falling Things、InStereo2K和HR-VS上预训练的模型。我们使用两个变量转换为ONNXPINTO0309：
    • CREStereo-Accurate：5次迭代，更平衡的速度/精度权衡。
    • CREStereo-Fast：2次迭代，以速度为目标。
  • RAFT-Stereo (3DV 2021)： “用于立体匹配的多级递归场变换”。受RAFT在光流估计方面的成功启发，作者将其适用于立体。它是一种迭代方法，通过多尺度门控递归单元不断完善深度。它只用二维卷积和一个较轻的三维成本量来实现，他们提出了一个实时设置。包括两个预训练的变体（详情请参考论文）：
    • RAFT-Accurate：在sceneflow + middlebury上训练的高精度设置。
    • RAFT-Fast：实时设置，在sceneflow上训练。
  • Hitnet (CVPR 2021)： “用于实时立体匹配的分层迭代瓦片细化网络”。他们还关注性能，避免了全成本量，并采用由粗到细的小平面瓦片传播。这里还考虑了两种预训练的变体（由PINTO0309转换为ONNX）：
    • Hitnet-Accurate：在sceneflow上训练的高精度设置。
    • Hitnet-Fast：快速设置，在KITTI + Middlebury + ETH3D图像上训练。
  • RealtimeStereo (ACCV 2020)： “边缘设备上实时立体匹配的注意力感知特征聚合”。本文的目标是嵌入式硬件上的实时性能，如NVidia Jetson TX2。首先以非常粗略的分辨率计算视差，并逐步向上采样。在数据集上的准确性不如其他方法，但Nicolas Burrus还是提到了它，因为它非常快，内存占用少。该模型由作者在Sceneflow + KITTI上进行预训练。

▌定性结果

为了进行定性比较，Nicolas Burrus用他的OAK-D Lite相机，相机使用工厂校准和设备本身计算的校正。将其配置为输出VGA图像(640x480)。

可视化是通过stereodemo完成的，这是一个Nicolas Burrus开发的小工具，用来比较立体算法。很容易在新数据上用pip install stereodemo

这是一个手+桌子场景的视频：

深度估计方法的定性比较（1）：手+桌子场景

客厅场景：

深度估计方法的定性比较（2）：客厅场景

卧室场景：

深度估计方法的定性比较（3）：卧室场景

Nicolas Burrus认为CREStereo和RAFT-Stereo总是能给出最好的效果，在使用快速设置时比RAFT-Stereo有一点点优势。Hitnet也很不错，但它可能需要在更多的室内场景中进行训练，以防止空白墙壁变形。Chang等人的RealtimeStereo在最初训练和评估的KITTI数据集之外并没有很好的推广。

▌性能

内存使用峰值

让我们先来看看内存使用的峰值，从低到高排序。对于OpenCV-BM、SGBM、CREStereo和Hitnet，通过查看使用CPU推理时的峰值内存使用量来粗略估计/usr/bin/time -v以及当推理未被调用时减去内存使用量。对于RAFT-Stereo和RealtimeStereo，峰值是通过以下方式为GPU推断测量的torch.cuda.max_memory_allocated().

峰值内存使用量(MB)320x240640x4801280x720
OpenCV-BM3511
OpenCV-SGBM6613
RealtimeStereo51856
RAFT-Stereo (fast)114172450
CREStereo (all)1264581309
RAFT-Stereo (accurate)1795301512
Hitnet (fast)1828562516
Hitnet (accurate)78521796973

总的来说，传统的方法具有较低的占用率（注意，OpenCV默认的半全局匹配使用了一个内存效率高的变体）。RealtimeStereo的内存效率也很高，它只在非常粗糙的分辨率下计算成本量，然后只用微小的视差范围搜索来进行小的修正。RAFT-Stereo在其快速设置中更积极地对输入进行降样，导致了合理的占用空间。CREStereo在快速和精确设置之间没有内存使用差异，而Hitnet往往是相当耗费内存的。

推理速度

首先让我们来看看在高端游戏GPU（英伟达RTX 3090）上的推理性能，按照VGA分辨率下的速度进行排名。对于RAFT-Stereo和RealtimeStereo，使用了作者最初的Pytorch实现。对于CREStereo和Hitnet，则使用了由PINTO0309转换的ONNX模型和onnxruntime。

请注意，应该对这些结果持保留态度，因为ONNX转换可能不是最佳的，而且有些方法的优化没有包括在内。特别地，RAFT-Stereo具有更快的相关采样器（可用代码），而Hitnet声称通过定制的CUDA操作可快3倍（代码不可用）。

GPU推理 (RTX 3090)320x240640x4801280x720
OpenCV-BM不适用的不适用的不适用的
OpenCV-SGBM不适用的不适用的不适用的
RealtimeStereo7毫秒8毫秒15毫秒
RAFT-Stereo (fast)30毫秒35毫秒60毫秒
Hitnet (fast)14毫秒40毫秒80毫秒
CREStereo (fast)21毫秒56毫秒175毫秒
RAFT-Stereo (accurate)30毫秒90毫秒280毫秒
Hitnet (fast)34毫秒100毫秒280毫秒
RAFT-Stereo (accurate)110毫秒190毫秒430毫秒

所有的方法在强大的GPU上都非常快，尤其是在快速设置中。正如预期的那样，CPU推理要慢得多，即使是8核。

CPU推理(8核，i9-9900K @ 3.6 GHz)320x240640x4801280x720
OpenCV-BM2.5毫秒9毫秒20毫秒
OpenCV-SGBM (1 core)12毫秒70毫秒230毫秒
RealtimeStereo15毫秒70毫秒180毫秒
RAFT-Stereo (fast)157毫秒550毫秒1800毫秒
Hitnet (fast)160毫秒720毫秒2340毫秒
CREStereo (fast)300毫秒1440毫秒5580毫秒
CREStereo (accurate)500毫秒2130毫秒8900毫秒
Hitnet (fast)620毫秒2240毫秒6960毫秒
RAFT-Stereo (accurate)1720毫秒6800毫秒22200毫秒

最后，这里是CPU推断和只有一核的结果。

CPU推理(1核，i9-9900K @ 3.6 GHz)320x240640x4801280x720
OpenCV-BM4毫秒22毫秒70毫秒
OpenCV-SGBM12毫秒70毫秒230毫秒
RealtimeStereo27毫秒130毫秒420毫秒
RAFT-Stereo (fast)680毫秒2600毫秒8300毫秒
Hitnet(fast)320毫秒1370毫秒4180毫秒
CREStereo (fast)980毫秒4240毫秒13450毫秒
Hitnet (accurate)1.1秒4.1秒12.2秒
Hitnet (fast)1.9秒7.8秒24岁
RAFT-Stereo (accurate)8.5秒32.5秒102.5秒

▌结论

与传统方法相比，最近的深度学习方法在硬场景下令人印象深刻。缺点是，它们有时会创建大面积的好看但不准确的几何图形（如扭曲的墙壁），而块状匹配方法会返回更稀疏、更嘈杂的深度，但不会产生错误的几何图形。

RAFT-Stereo以其快速设置和良好的通用性，在速度/内存/精度权衡方面似乎是一个可靠的选择。CREStereo和Hitnet也很有竞争力，CREStereo经常在其精确的设置中给出最好的结果。他们的模型也在更多的公共数据集上进行了训练，这可能会有所帮助。此外，这些方法很容易调整以达到不同的速度折衷，并且在训练期间添加一些房间/室内数据集可能会提高它们的准确性。

RealtimeStereo非常快，但KITTI训练的模型不能很好地推广到室内场景。

想自己尝试一下这些吗？在预先拍摄的图像上或者直接从OAK-D相机上？只需pip install stereodemo (https://github.com/nburrus/stereodemo)

▌参考资料

https://nicolas.burrus.name/stereo-comparison/
https://docs.oakchina.cn/en/latest/
https://www.oakchina.cn/selection-guide/
https://www.oakchina.cn/intro/

OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗

OAK中国_官方
关注
博客
OAK相机depthai最全上手教程
12-15 4224
Hello，大家好，这里是OAK中国，我是助手君。之前不是有朋友问我，这个程序界面参数有没有说明嘛，这周得空整理了一下写了博客。内容非常详细哦！建议所有刚拿到OAK的朋友可以看看的！本篇教程来自Luxonis的官方使用文档，由OAK中国翻译编辑。部分链接如果打不开，可能是因为外网原因。在本指南中，我假设你刚刚拿到了OAK相机（例如OAK-D），并且这是你的首次尝试使用，现在我们来看看你能拿它实现什么。首先，我们将运行一个depthai demo脚本，预览depthai的功能。
博客
OpenCV众筹了一款ROS2机器人rae，开源、功能强、上手简单。来瞅瞅~
11-16 5064
在2020年、2021年OpenCV分别在Kickstarter上众筹了两款OAK产品，均筹集超过百万美元。2022年上半年也有朋友问我今年有没有众筹的产品，原以为没有，没想到上周突然来了rea众筹的消息！目前已筹集超过20万美元！Kickstarter众筹地址，中国区专属众筹地址。我研究了一下这个机器人，确实有点东西，给大家分享一下！OAK有史以来首个完全成型的开源ros2机器人rae，将机器人技术的入门门槛降到极致，全球众筹中！
博客
OpenCV OAK相机经典使用案例集锦（持续更新中）
04-01 6682
我们知道OAK的开源生态非常好，经常有用户在github等网站分享自己的项目，同时官方的demo示例也在不断增加。根据助手君目测，示例应该已经超过50个了！（准确数据，大家可查看💁此处，自己数啦）所以本期内容，我们就来看看用OAK可以做哪些上手即用的示例。内容会不定期更新，请点赞提醒我更新内容哦！💖 前言1.卡通化图片2.Gen2 年龄性别识别3.实时模糊人脸1.社交.................
博客
全站最详细OpenCV AI开发套件OAK（OpenCV AI Kit）介绍
03-31 5400
编辑：OAK中国来源：oakchina.cn版权说明：转载请注明出处前言Hello，大家好，这里是OAK中国，我是助手君。OAK相机相比于realsense这类老牌3D相机而言，确实属于新星产品。不少新朋友是被OAK的开源生态及一些demo视频所吸引，希望深度了解OAK。所以本期内容，我们会回顾一下OAK的诞生并解答几个关键问题，如：OAK是什么？DepthAI是什么？我们能用OAK做什么？OAK的优势在哪里？OAK的诞生OAK的创始人Brandon Gills在采访中表示，O.
博客
【收藏好文】AI推理框架最全对比：OpenVINO、TensorRT、Mediapipe
03-30 1万+
我们都晓得，现在常见的模型推理部署框架有很多，例如：英特尔的OpenVINO，英伟达的TensorRT，谷歌的Mediapipe，那么我们应该选哪个呢？今天我们来对这些框架及其相关设备做一个介绍和对比，这样也方便大家择优选择。OpenVINO介绍OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。......
博客
‘视’不可挡：OAK相机助力无人机智控飞行！
11-15 186
南京邮电大学通达学院的刘同学用我们的oak-d-lite实现精确打击无人机的避障和目标识别定位功能，取得了比赛冠军。我们盼望着更多的朋友们能够加入到我们OAK的队伍中来，参与到各式各样的比赛中去。我们相信，有了我们相机的助力，大家能够发挥出更好的水平，赢得更多的荣誉和奖项。让我们一起加油，用我们的相机捕捉每一个精彩瞬间，探索无限可能，创造更多的辉煌成就！
博客
高帧率神器：OAK-D-Lite结合 Factor-VIO和RTAB-Map 跑出200Hz里程计输出
11-08 157
OAK相机与Factor-VIO的结合，为用户提供了能达到200 Hz的高帧率里程计输出，几乎消除了延迟，满足了高速场景、无人机、AR/VR等广泛应用的需求。此外，Factor Perception SDK还提供了从传感器坐标系到机器人本体坐标系的自动转换，使得机器人开发者可以直接获取base_link的位姿和速度信息，极大地简化了开发流程。而Factor Perception SDK则在此基础上，提供了更为先进的前端处理能力，特别是在视觉里程计（VO）和视觉-惯性里程计（VIO）方面。
博客
OAK相机：纯视觉SLAM在夜晚的应用
11-08 480
现在袁博士团队进一步挖掘了纯视觉的潜力，于是又专门录了一段夜间的演示给我们展示了在完全黑暗及光线变化的环境中可靠工作的VIO、回环检测及适用于大场景的内存管理技术。Factor Perception SDK的前后端均基于深度学习辅助，但无需GPU,神经网络推理均在OAK相机内完成，只需树莓派级别算力的主控。哈喽，OAK的朋友们，大家好啊，今天这个视频主要想分享一下袁博士团队用我们的OAK相机产出的新成果。在去年过山车SLAM的演示中，袁博士团队就展示了纯视觉SLAM在完全黑暗的环境中的极高鲁棒性。
博客
OAK相机的RGB-D彩色相机去畸变做对齐
10-23 735
默认情况下，深度图与校正后的左图像对齐，可以通过以下方法设置彩色相机和深度图对齐。当使用广角OAK相机时，由于镜头造成的图像的大失真，对齐可能会很棘手。目前OAK相机内置了彩色相机去畸变的节点,是可以在相机内去除畸变后和深度图对齐，生产RGB-D的效果。当将rgb相机畸变矫正后，图像的边缘不平直的部分会被裁切掉一部分。其思想是将深度图像中的每个像素与彩色图像中对应的相应像素对齐。大广角系列相机的彩色相机和深度图对齐产生RGB-D的方法。最大缩放，未失真的图像将是适合原始图像的最大可能的图像。
博客
OAK相机的标定流程更新与优化通知
10-22 959
如果发现OAK相机的深度精度，或者xy坐标的精度不够高，点云效果不够好，亦或对精度有更高的要求，可以自行重新标定，标定方法也非常的简单。所有带外壳的OAK相机在出厂时会进行校准，出厂校准算法中有一个Threshold允许写入的阈值，一般不会被设定得太严苛，若您对校准的精度不满意，可以选择重新/多次校准，以获得更好的体验。度数，如果无法获得，可以用相机拍摄水平放置的尺子，当尺子在相机中占满水平画面的时候，测量占满画面部分尺子的宽度，和镜头距离尺寸的垂直距离，从而通过三角函数，得到真实的镜头的。
博客
探索YOLO v11：3D人工智能的RGB-D视觉革命
10-14 648
哈喽，各位OAK中国的朋友们!大家好我是张伯生今天，我想给大家演示一下最新发布的Yolo V11神经网络下面我将演示的一个程序是：同时在我们的OAK相机上跑Yolo V11和RGB-D，也就是彩色相机和深度图的一个叠加的一个效果RGB-D和Yolo V11都是跑在我们的相机里面的并且相机的内部做了一个畸变校正以后的深度图，然后在叠加的图上产生一个Yolo V11检测和识别的效果现在是跑30帧，1920*1080的这样的一个分辨率这个是我们的彩色图大家可以看到Yolo V11识别的一个效果。
博客
2024年诺贝尔物理学奖为何授予机器学习？
10-09 945
相反，在机器学习中，计算机通过实例学习，使其能够解决模糊和复杂的问题，这些问题无法通过一步一步的指令来管理。随着人工智能越来越深入的研究，诺奖官方评价称，物理学为机器学习的发展提供了工具，物理学作为一个研究领域如何也从人工神经网络中受益将是有趣的。“物理学奖可以授予理论上、实验上或者观测上的发现，也可以授予发明，今年的获奖成果从某种意义上讲也是一种发明，一种可以多种方式应用的发明。今天的人工智能神经网络通常是巨大的，由更多层组成，它们被称为深度神经网络，它们的训练方式被称为深度学习。
博客
在树莓派上部署安装OAK
10-09 784
OAK设备可以与微型主机（例如树莓派）进行连接。
博客
全新升级的GUI: Depthai Viewer 使用指南发布
09-30 272
DepthAIViewer 是 DepthAI 和 OAK 相机的可视化工具。
博客
ToF传感器更新
09-24 988
​我们最近改进了 ToF 解码管道（固件）和 ToF 工厂校准，该校准已应用于我们最新的带有 ToF 相机的OAK-D-SR-PoE
博客
免费获取官方开源项目：OAK-D-SR-PoE点云拍摄
09-19 171
免费获取官方开源项目：OAK-D-SR-PoE点云拍摄。
博客
突破视界：新品相机的双目、结构光、ToF三合一测距震撼展示
09-05 274
新品相机的双目、结构光、ToF三合一测距震撼展示
博客
精度突破！OAK新品同时完成低于1%绝对精度的测量+AI识别！
08-30 159
大家好，今天我们来对有着双目视差‘结构光和TOF三合一测距的新品做一个ToF测距+识别测试，并且会同时对标激光测距仪和3M量程卷尺，看看这款相机有怎样的表现吧！OAK新品同时完成低于1%绝对精度的测量+AI识别！
博客
精度突破！OAK新品：探索近距新视界，高精度边缘3D AI深度相机的ToF点云效果展示
08-30 162
OAK新品：探索近距新视界，高精度边缘3D AI深度相机的ToF点云效果展示。
博客
版本发布
08-28 224
DepthAI 2.28已经发布
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值