【虹科案例】基于3D相机组装家具

虹科电子科技

于 2022-08-08 17:42:41 发布

阅读量173

点赞数

分类专栏：机器视觉与光电检测文章标签：计算机视觉人工智能

原文链接：https://mp.weixin.qq.com/s/t9jo10phHc68LHW5MA8Piw

版权

机器视觉与光电检测专栏收录该内容

51 篇文章 5 订阅

订阅专栏

相信大家都经历过一件事:组装新家具。把零件按顺序排列好，查看安装说明，发现要花费的时间比预期要长!

新加坡南洋理工大学(NTU Singapore)的科学家们研制了一种机器人，可以独立组装椅子的各个零件。该机器人由一个HK Ensenso N35 3D相机和两个能抓取物体的机器臂组成。

应用

为了帮助机器人组装宜家的椅子，来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛”为3D摄像头，“手臂”为能够在六个轴上运动的工业机械臂。每只机械臂都有抓手来抓取物体。手腕上安装了力传感器，以确定“手指”的握力以及它们使物体相互接触的强度。

机器人开始组装过程时，会拍摄地面上各部件的3D图像，生成各部件估计位置的地图，由HK Ensenso 3D相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的，但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像，搜索相应的点，并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标，以便于完成椅子的组装。

难点

难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3D相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下，投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。

这个应用利用了虹科N35系列相机中独有的FlexView投影仪技术，投影在组件物体表面上的模式可以改变表面上的纹理，检测得到的深度信息非常精确完整，该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是HK Ensenso软件提供机器人手眼标定功能。使用一个标定板，它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应，并准确地到达目的地。

“对于一个机器人来说，把椅子精确的拼凑比人为工作更复杂”南洋理工大学的Pham Quang Cuong教授解释道。“必须分解成不同的步骤，比如识别不同的椅子部件在哪里，抓住这些部件所需要的力量，以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力，我们开发了算法，使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。

前景

据Pham Quang Cuong教授介绍，人工智能将使这一应用在未来更加独立和有前途:“我们希望在这种方法中融入更多的人工智能，使机器人更加自主，这样它就可以通过人类演示或阅读安装手册，甚至从组装产品的图片中学习组装椅子的不同步骤。”

新加坡南洋理工大学的科学家开发的机器人被用于对机敏操作的研究，这是一个需要精确控制专用机器人手或手指的力量和运动的机器人领域。这需要所有硬件和软件组件的完美交互。使用虹科3D相机进行三维图像处理是解决问题的关键。它在准确性上、经济和速度方面都令人信服。