【虹科案例】基于3D相机组装家具

友思特机器视觉与光电

于 2022-08-01 23:14:46 发布

阅读量232

点赞数

分类专栏： 3D相机人工智能文章标签： 3d 计算机视觉 opencv 人工智能

本文链接：https://blog.csdn.net/m0_49762095/article/details/126111944

版权

人工智能同时被 2 个专栏收录

17 篇文章 0 订阅

订阅专栏

3D相机

8 篇文章 0 订阅

订阅专栏

相信大家都经历过一件事:组装新家具。把零件按顺序排列好，查看安装说明，发现要花费的时间比预期要长!

新加坡南洋理工大学(NTU Singapore)的科学家们研制了一种机器人，可以独立组装椅子的各个零件。该机器人由一个HK Ensenso N35 3D相机和两个能抓取物体的机器臂组成。

应用

为了帮助机器人组装宜家的椅子，来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛”为3D摄像头，“手臂”为能够在六个轴上运动的工业机械臂。每只机械臂都有抓手来抓取物体。手腕上安装了力传感器，以确定“手指”的握力以及它们使物体相互接触的强度。

机器人开始组装过程时，会拍摄地面上各部件的3D图像，生成各部件估计位置的地图，由HK Ensenso 3D相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的，但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像，搜索相应的点，并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标，以便于完成椅子的组装。

难点

难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3D相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下，投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。

这个应用利用了虹科N35系列相机中独有的FlexView投影仪技术，投影在组件物体表面上的模式可以改变表面上的纹理，检测得到的深度信息非常精确完整，该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是HK Ensenso软件提供机器人手眼标定功能。使用一个标定板，它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应，并准确地到达目的地。

“对于一个机器人来说，把椅子精确的拼凑比人为工作更复杂”南洋理工大学的Pham Quang Cuong教授解释道。“必须分解成不同的步骤，比如识别不同的椅子部件在哪里，抓住这些部件所需要的力量，以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力，我们开发了算法，使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。