Solution Guide III-C3D Vision学习——引言_solution guide 3dvison-CSDN博客

本文链接：https://blog.csdn.net/w546816441/article/details/137794105

1.学习3D视觉所需要的基础知识

相机校准：在HALCON中，这只需要几行代码就可以完成。关于相机校准的准备，第13页的第2章介绍了相机型号和参数的详细信息。第59页的第3章描述了实际的摄像机校准。

相机校准，可以将图像处理结果转换为任意3D坐标系，从而从图像中获取测量信息，而无需考虑相机相对于对象的位置和方向。换句话说，我们可以在指定对象平面的3D坐标中执行检测任务，这些对象平面可以相对于相机任意定向。例如，如果摄像机不能安装成看起来垂直于物体表面，则此选项非常有用。因此，除了纯粹的相机校准，第3章展示了如何在指定平面上使用单个相机应用一般的3D视觉任务。此外，它还展示了如何纠正图像，使它们看起来就像是从没有透镜失真的相机中获取的，并且看起来完全垂直于物体表面。这对于OCR或对象的识别和定位等任务很有用，这些任务依赖于相对于训练图像没有太多失真的图像。

2.如何获得3d模型的位置和方向（位姿）

3D对象需要设定相对于给定3D坐标系的位置和方向，例如，对于pick-and-place applications（例如机器人的拾起和放置的功能，需要3D对准），可以通过第91页第4章中描述的方法之一确定：

先摄像机校准，然后提取至少三个已知3D对象坐标的重要点，根据相应点对已知3D对象进行姿态估计（第92页第4.1节），这是一种相当通用的方法，该方法也被称为“mono3D”。
HALCON的3D匹配是基于物体的3D模型定位已知的3D物体。它自动搜索与搜索数据中的3D模型相对应的对象，并确定它们的3D姿态。
HALCON 的 3D 基元拟合（第 111 页上的 4.5 节）将基元 3D 形状（如圆柱体、球体或平面）拟合到 3D 场景中，即拟合到可用作 3D 对象模型的一组 3D 点中，可以通过以下方式获得通过立体模型或光片等 3D 重建方法，然后进行 3D 分割。
校准透视匹配可以基于 2D 模型定位图像中因透视而扭曲的平面对象。
圆形姿势估计(第115页的第4.8节)和矩形姿势估计(第116页的第4.9节)使用圆形和矩形的透视失真，以相当方便的方式确定包含圆形和/或矩形的平面对象的姿势。

3.如何检查3d对象信息

可以通过不同的方式来检查3D对象。如果在指定平面上的检查，可以使用摄像机校准和2D检查，如第59页第3章所述。

如果需要3D对象的表面，或检查不能简化到单个指定平面，则可以将3D重建和3D检查结合使用。也就是说，可以用3D重建获得3D对象返回的点、曲面或高度信息，并检查该对象，例如，通过将其与参考点、曲面或某一高度进行比较。

4.如何重建3D对象？

要确定任意对象曲面上的点，可以使用以下方法：

Halcon的立体视觉功能(第117页第5章)允许根据从不同视点(通常由单独的摄像机)适当获取的两个(双目立体)或多个(多视角立体)图像来确定对象表面上任意点的3D坐标。使用多视角立体，可以重建一个3D对象的全部3D，特别是可以从不同的侧面重建它。
用激光三角测量光片(第147页第6章)可以得到物体的高度轮廓。
使用焦点深度(DFF)(第163页第7章)，可以使用单个远心相机在不同焦点位置获取的图像来获得高度轮廓。
对于光度立体法(《r“3D Reconstruction  Photometric Stereo”》一章)，可以使用由单个远心摄像机获取的图像来获得高度图像，但至少具有三个不同的远心照明源，对于这些远心照明源，必须知道其与摄像机的空间关系。请注意，高度图像仅反映相对高度，即，使用光度立体法不可能进行校准的3D重建。