编辑:OAK中国
首发:oakchina.cn
喜欢的话,请多多👍⭐️✍
内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。
▌前言
Hello,大家好,这里是OAK中国,我是助手君。
整理了一下用户和Luxonis对OAK相机与realsense相机的对比,对比图来源于用户哈,大家如果也有对比图,也欢迎给我投稿!
OAK-D-Pro与D435i
和RealSense D435i的深度相机相比,OAK 3D人工智能相机除深度相机功能以外,还增加了大量的可以在相机端加速运行的功能(用户自定义的AI神经网络模式加速、目标跟踪、图像处理、相机端用户逻辑编程、无主机独立运行(POE款型和S3)、H.265编码等),可用于嵌入式应用程序中(第三代OAK支持设备端点云输出、位姿输出、slam建图等)。
2021年8月,英特尔宣布将逐步关闭他们的realsense深度相机业务(CRN,The Verge)。从那以后,RealSense相机一度涨价或者脱销。相比之下,所有的OAK 3D人工智能相机都有库存,我们作为工业级别机器人相机的供应商,我们从来没有打算停产任何设备,不管是老款和新款设备,我们都会持续供货,永不停产。并且保证新老产品在结构尺寸、软件API的通用性和兼容性。减少用户产品批量后的供货风险。
我们自己还没有做任何(定量)测试,但第三方(客户)将他们的OAK 3D人工智能相机评估结果发送给我们,将OAK-D-Pro与RealSense D435i进行了比较。
被测物体照片,桌面和墙都是没有纹理、表面光滑、缺少特征点的物体。
关闭结构光的被动双目深度效果:
OAK 3D人工智能相机的开源化和可定制化
OAK 3D人工智能相机是基于软硬件系统开源、产品可定制化的想法从头开始构建的。我们所有基于OAK SoM(OAK核心计算单元)的产品都是开源的,所以你可以很容易地重新设计自己的电路板和产品形态(参见将OAK集成到产品中);我们还提供了大量的不同性能参数的相机模组,也可以订制不同的相机模组的连接排线和接口,例如增加深度相机基线距离或使用不同角度,光学滤光片(红外、紫外、单光谱)的图像传感器(我们支持一堆不同的传感器)。
OAK FFC系列 3个、4个或者6个相机组合非常适合你的产品原型设计,因为它允许用户使用不同的相机传感器/光学,并将他们放置在一个理想的深度计算的基线距离,测量和识别不同量程的物体。
请参见关于基于相机内部信息/基线距离的最大深度感知计算的立体深度文档。
On-Device Capabilities | OAK-D Pro | OAK-D | OAK-D-Lite | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
自定义AI模型 | √ | √ | √ | × | × | × | × | × | × | × |
目标检测 | √ | √ | √ | × | × | × | × | × | × | × |
目标跟踪 | √ | √ | √ | × | × | × | × | × | × | × |
设备上的脚本编程 | √ | √ | √ | × | × | × | × | × | × | × |
视频/图像编码 | √ | √ | √ | × | × | × | × | × | × | × |
图像处理 | √ | √ | √ | × | × | × | × | × | × | × |
骨骼/手跟踪 | √ | √ | √ | × | √ | √ | √ | × | × | × |
3D语义分割 | √ | √ | √ | × | × | × | × | × | × | × |
3D物体姿态估计 | √ | √ | √ | × | × | × | × | × | × | × |
3D边缘检测 | √ | √ | √ | × | × | × | × | × | × | × |
特征点跟踪 | √ | √ | √ | × | × | × | × | × | × | √ |
3D特征跟踪 | √ | √ | √ | × | × | × | × | × | × | × |
OCR 文字识别 | √ | √ | √ | × | × | × | × | × | × | × |
人脸识别 | √ | √ | √ | × | × | × | × | √ | √ | × |
基准标记定位 | √ | √ | √ | × | × | × | × | × | × | × |
神经网络深度计算 | WIP | WIP | WIP | - | × | × | × | × | × | × |
VIO视觉里程计 | WIP | WIP | WIP | × | × | × | × | × | × | √ |
功能描述
自定义AI模型-你可以在设备上运行任何AI/NN模型(s),几乎所有的神经网络都支持。你也可以从 Open Model Zoo 和DepthAI Model Zoo中选择200个+预训练的神经网络模型。
目标检测-最流行的目标检测算法可以运行在我们的设备上。OAK支持基于Yolo和MobileNet的设备端解析。
目标跟踪-对象跟踪器节点有4种跟踪器类型,它还支持在三维空间中对对象进行跟踪。
设备上的脚本编程-脚本节点允许用户运行将在设备上运行的自定义Python 3.9脚本,用于自定义用户的业务逻辑。
视频/图像编码-视频编码器节点允许MJPEG,H265,或H264格式编码。
图像处理- ImageManip节点允许用户调整大小、裁剪、翻转和缩略图图像帧和进行类型转换(YUV420、NV12、RGB等)
骨骼/手跟踪-检测和跟踪手或人的姿势的关键点。Geaxgx的演示:Hand tracker, Blazepose, Movenet。
3D语义分割-用语义标记的像素来感知世界。DeeplabV3演示。
3D物体姿态估计-MediaPipe的项目已被转换为在OAK相机上运行。
3D边缘检测-边缘检测器节点使用Sobel滤波器来检测边缘。使用深度信息,您可以获得这些边的物理位置。
特征点跟踪-功能跟踪器节点可检测和跟踪关键点(功能)。
3D特征跟踪-通过深度信息,您可以在物理空间中跟踪这些特征点。
OCR -文字识别。
人脸识别-这里的演示,它同时运行设备上的人脸检测、对齐和人脸识别(3种不同的神经网络模型)。
基准标记定位-Apriltags探测器目前工作在~20FPS。
神经网络深度计算-工作正在进行中。
VIO视觉里程计-正在进行,机器人视觉核心3,OAK S3系列相机。
相机参数对比
Specification | OAK-D Pro / -W | OAK-D / -W | OAK-D-Lite | L515 | D415 | D430-D435 | D450-D455 | F455 | F450 | T261-T265 |
RGB | IMX378 | IMX378/OV9782 | IMX214 | OV2740 | OV2740 | OV2740 | OV9782 | N/A | N/A | - |
RGB HFOV | 69 / 109 | 69 / 109 | 73.6 | 70 | 69 | 69 | 90 | N/A | N/A | N/A |
RGB Shutter | Rolling / Global | Rolling | Rolling | Rolling | Rolling | Rolling | Global | N/A | N/A | N/A |
RGB resolution | 12MP | 12MP | 13MP | 2MP | 2MP | 2MP | 1MP | N/A | N/A | N/A |
Depth Type | Active Stereo | Passive Stereo | Passive Stereo | Laser | Active Stereo | Active Stereo | Active Stereo | Active Stereo | Active Stereo | N/A |
Depth sensor | OV9282 | OV9282 | OV7251 | - | OV2740 | OV9282 | OV9782 | - | - | - |
Stereo Shutter | Global | Global | Global | Rolling | Global | Global | Global | |||
Depth HFOV | 72 / 127 | 72 / 127 | 72 | N/A | 70 | 87 | 87 | 56 | 56 | 173 |
Min Depth | 20 cm | 20 cm | 20 cm | 25 cm | 45 cm | 28 cm | 52 cm | 30 cm | 30 cm | N/A |
Depth resolution | 1280x800 | 1280x800 | 640x480 | N/A | 1024x768 | 1280x720 | 1280x720 | 848x800 | ||
IR LED | √ | × | × | × | × | × | × | √ | √ | √ |
ToF/Laser | × | × | × | √ | × | × | × | × | × | × |
IMU | √ | √ | × | √ | × | √/× | √ | × | × | √ |
嵌入式用户案例
与RealSense不同,我们的平台支持从flash(独立模式)启动,并具有双向SPI通信(SPIOut、SPIIn节点)。独立/边缘模式意味着你可以将你的应用程序保存和运行在设备上,这意味着你不需要将设备连接到主机(RPi/PC/笔记本电脑…)。 这允许用户构建小型、低功率的嵌入式设备,并集成OAK SoM,以空间人工智能的能力升级他们的产品。
▌参考资料
https://www.oakchina.cn/product/oak-d-pro/
https://www.luxonis.com/blog/oak-d_pro_vs_intel_realsense
https://docs.oakchina.cn/en/latest/
https://www.oakchina.cn/selection-guide/
OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态
戳「+关注」获取最新资讯↗↗