【C# + HALCON 机器视觉】HALCON经典算子：3D表面匹配（surface_matching）

摘要：本文聚焦 C# 与 HALCON 集成，探讨 3D 表面匹配算子surface_matching在机器人无序抓取中的应用。通过 3D 相机获取点云数据，创建表面匹配模型实现金属零件精确定位，结合 GPU 加速使系统响应时间 < 0.5s。C# 控制机械臂六轴姿态完成复杂角度抓取，采用 ROI 局部处理优化性能，封装try-catch块处理异常，实现与 ROS、PLC 等系统对接。该方案为工业自动化提供高精度、高可靠性的 3D 视觉解决方案，推动智能制造发展。

---

---

【C# + HALCON 机器视觉】HALCON经典算子：3D表面匹配（surface_matching）

关键词：C#；HALCON；3D 表面匹配；surface_matching；机器人无序抓取；点云处理；GPU 加速

一、引言

在现代智能制造领域，机器人自动化操作正逐步取代传统的人工操作，成为提高生产效率、降低成本的关键技术。其中，机器人无序抓取（Bin Picking）技术是实现自动化生产的重要环节，它能够让机器人从杂乱堆放的零件中准确识别并抓取目标零件，广泛应用于汽车制造、电子装配、物流分拣等行业。

HALCON作为一款功能强大的机器视觉软件库，提供了丰富的3D视觉处理算子，其中surface_matching算子是3D表面匹配的核心工具，能够基于物体的三维表面特征实现高精度的匹配和定位。本文将深入探讨surface_matching算子的原理、应用场景，并结合机器人无序抓取案例详细介绍其在C#与HALCON集成开发中的具体实现方法，同时分享性能优化、异常处理和跨平台集成的相关经验。

二、3D表面匹配（surface_matching）算子原理

2.1 3D表面匹配技术基础

3D表面匹配是一种基于物体三维表面几何特征的匹配方法，它通过分析物体表面的点云数据，提取特征点和特征描述符，然后在场景点云中寻找与之匹配的部分，从而确定物体的位置和姿态。与2D匹配相比，3D表面匹配具有以下优势：

• 不受物体姿态影响：能够在任意角度和位置下识别物体。
• 高精度定位：可以提供亚毫米级的定位精度。
• 对光照变化不敏感：基于几何特征，受光照影响较小。
• 适用于复杂形状物体：能够处理非规则形状的物体。

2.2 surface_matching算子详解

surface_matching是HALCON中用于3D表面匹配的核心算子，其主要功能包括创建匹配模型、执行匹配和获取匹配结果。相关的主要算子包括：

1. create_surface_model：创建3D表面匹配模型。

create_surface_model(ObjectModel3D : : RelSamplingDistance, MinRelSamplingDistance, UsePlane, NumLevels, SurfaceType, ModelCalculation, Priority : SurfaceModelID)

参数说明：

• ObjectModel3D：输入的3D物体模型（点云数据）。
• RelSamplingDistance：相对采样距离，控制模型的精度和复杂度。
• MinRelSamplingDistance：最小相对采样距离。
• UsePlane：是否使用平面进行预处理。
• NumLevels：金字塔层数，影响匹配速度和精度。
• SurfaceModelID：输出的表面匹配模型句柄。

2. find_surface_model：在场景中查找匹配的3D模型。

find_surface_model(Scene3D, SurfaceModelID : : RelThreshold, MinScore, MaxOverlap, NumMatches, SubPixel, GenParamName, GenParamValue : Pose, Score)

参数说明：

• Scene3D：输入的场景3D点云数据。
• SurfaceModelID：表面匹配模型句柄。
• RelThreshold：相对阈值，控制匹配的严格程度。
• MinScore：最小匹配分数，低于此分数的匹配结果将被过滤。
• MaxOverlap：最大重叠度，控制多个匹配结果之间的最大重叠。
• Pose：输出的匹配物体的位姿（位置和姿态）。
• Score：输出的匹配分数，表示匹配的质量。

2.3 3D表面匹配流程

基于surface_matching的3D表面匹配流程主要包括以下步骤：

1. 3D数据采集：使用3D相机获取物体和场景的点云数据。
2. 数据预处理：对点云数据进行滤波、降噪、下采样等预处理，提高数据质量。
3. 模型创建：使用create_surface_model算子创建3D表面匹配模型。
4. 场景匹配：在实际场景中使用find_surface_model算子查找匹配的物体。
5. 位姿转换：将匹配得到的位姿转换为机器人坐标系下的位姿，用于机器人抓取。

三、应用场景：机器人无序抓取（Bin Picking）

3.1 机器人无序抓取需求分析

在工业生产中，许多零件是以杂乱堆叠的方式存放在料框中的，机器人需要从这些无序堆放的零件中准确识别并抓取目标零件，然后放置到指定位置进行下一步加工或装配。这一过程面临以下挑战：

• 零件姿态不确定：零件在料框中可能以任意姿态存在，需要机器人能够识别并适应各种姿态。
• 遮挡问题：零件之间可能相互遮挡，导致部分表面无法被相机观察到。
• 实时性要求高：在生产线环境下，需要快速识别和抓取零件，以满足生产节拍要求。
• 高精度定位：机器人需要精确知道零件的位置和姿态，才能实现准确抓取。

3.2 基于3D表面匹配的无序抓取流程

基于surface_matching算子的机器人无序抓取流程主要包括以下步骤：

1. 场景扫描：使用3D相机对料框中的零件进行扫描，获取场景点云数据。
2. 点云预处理：对获取的点云数据进行滤波、降噪、分割等预处理，提取感兴趣区域。
3. 零件匹配：使用surface_matching算子在场景点云中查找目标零件，获取其位置和姿态。
4. 抓取规划：根据零件的位置和姿态，规划机器人的抓取路径和姿态，避免碰撞。
5. 机器人运动控制：将抓取路径和姿态信息发送给机器人控制器，控制机器人执行抓取动作。
6. 零件放置：将抓取的零件放置到指定位置，完成一次抓取循环。

四、案例：从料框中抓取杂乱堆叠的金属零件

4.1 实操环境准备

• 硬件环境：
  • 工业级3D相机（如基恩士、SmartRay等品牌），分辨率不低于0.1mm。
  • 六轴工业机器人（如ABB、KUKA、Fanuc等品牌）。
  • GPU加速卡（如NVIDIA Tesla系列），用于加速点云处理。
  • 光源系统（如环形光源、条形光源），用于提供均匀照明。
• 软件环境：
  • HALCON 21.11及以上版本。
  • Visual Studio 2022。
  • 机器人控制器配套软件（如ABB RobotStudio、KUKA Sim Pro等）。
• 创建C#控制台应用程序项目，并添加HALCON的引用：在项目中添加HalconDotNet.dll引用，确保能够调用HALCON的相关功能。

4.2 完整代码实现

using HalconDotNet;
using System;
using System.Threading;

namespace RobotBinPicking
{
   
    class Program
    {
   
        // 3D相机参数
        private static string cameraConfigPath = "camera_config.cal";
        
        // 3D模型路径
        private static string modelPath = "metal_part.stl";
        
        // 表面匹配模型句柄
        private static HTuple surfaceModelID;
        
        // 相机句柄
        private static HTuple cameraHandle;
        
        // 机器人控制器IP地址
        private static string robotIP = "192.168.1.100";
        
        // 机器人通信端口
        private static int robotPort = 5000;
        
        // 主程序入口
        static void Main(string[] args)
        {
   
            try
            {
   
                Console.WriteLine("机器人无序抓取系统启动中...");
                
                // 初始化3D相机
                InitializeCamera(out cameraHandle);
                
                // 创建3D表面匹配模型
                CreateSurfaceModel(modelPath, out surfaceModelID);
                
                // 连接机器人控制器
                ConnectToRobot(robotIP, robotPort);
                
                Console.WriteLine("系统初始化完成，开始执行抓取任务...");
                
                // 循环执行抓取任务
                for (int i = 0; i < 10; i++) // 执行10次抓取
                {
   
                    Console.WriteLine($"开始第 {
     i+1} 次抓取...");
                    
                    // 执行一次完整的抓取流程
                    bool success = PerformPickAndPlace(cameraHandle, surfaceModelID);
                    
                    if (success)
                    {
   
                        Console.WriteLine($"第 {
     i+1} 次抓取成功！");
                    }
                    else
                    {
   
                        Console.WriteLine($"第 {
     i+1} 次抓取失败！");
                    }
                    
                    // 等待一段时间再进行下一次抓取
                    Thread.Sleep(1000);
                }
                
                // 释放资源
                DisconnectFromRobot()