1-Halcon多相机标定（实现四相机高精度标定与图像拼接）

最新推荐文章于 2025-04-11 20:24:38 发布

观视界

最新推荐文章于 2025-04-11 20:24:38 发布

阅读量873

点赞数 6

分类专栏： # 《Halcon功能系列》文章标签：人工智能计算机视觉算法

本文链接：https://blog.csdn.net/weixin_45590420/article/details/145686482

版权

《Halcon功能系列》专栏收录该内容

1 篇文章

订阅专栏

以下是利用 Halcon 实现四相机高精度标定与图像拼接 的详细步骤，结合工业级多相机系统的实践经验，确保 亚像素级对齐精度：

1. 标定准备阶段

1.1 标定板选择与布局

标定板类型：使用 高精度棋盘格标定板（推荐Halcon自带的 calplate.cpd 模板），棋盘格尺寸误差需 <0.01mm。
标定板摆放规则：
- 每个位置下，标定板应同时位于 至少两个相机视野的交叠区域（相邻相机覆盖重叠部分）。
- 全流程采集至少 20个不同位姿（平移+旋转），覆盖整个拼接视野的 90%以上面积。

1.2 相机固定与同步

物理固定：四相机刚性安装在同一支架，避免震动偏移。
同步触发：使用 硬件触发信号（如PLC脉冲）确保四相机严格同步曝光，消除动态场景误差。

2. Halcon 标定代码实现

2.1 标定初始化

dev_close_window()
* 创建标定数据模型
create_calib_data ('calibration_object', 4, 1, CalibDataID)
* 设置相机参数初始值（根据镜头参数填写近似值）
set_calib_data_cam_param (CalibDataID, 0, 'area_scan_division', [0.016, 0.0, 6e-6, 6e-6, 320, 240, 640, 480])
set_calib_data_cam_param (CalibDataID, 1, 'area_scan_division', [...] )  // 同理设置四个相机

2.2 采集标定板图像并关联

for Index := 1 to 20 by 1
    * 同步采集四相机图像: Cam0Image, Cam1Image, Cam2Image, Cam3Image
    ...
    * 查找标定板并添加观测数据
    find_calib_object (Cam0Image, CalibDataID, 0, 0, 0, [], [])
    find_calib_object (Cam1Image, CalibDataID, 1, 0, 0, [], [])
    ... // 其他相机同理
    * 添加至同一标定位姿组
    set_calib_data_observ_points (CalibDataID, 0, 0, 0, Index, 'all', [0.0, 0.0, 0.0, 0.0, 0.0, 0.0], [])
endfor

2.3 执行全局标定

* 设置优化目标（同时优化内参和外参）
CalibSetup := 'all_cameras'
* 执行标定
calibrate_cameras (CalibDataID, CalibSetup, Errors)
* 获取标定结果
get_calib_data (CalibDataID, 'camera', 0, 'params', Cam0Params)
...
get_calib_data (CalibDataID, 'camera', 0, 'pose', Cam0ToWorldPose)

3. 图像拼接关键步骤

3.1 Homography矩阵计算（共线区域对齐）

* 计算Cam1到Cam0的投影矩阵
vector_to_hom_mat3d ('rigid', PoseCam0, PoseCam1, HomMat3D_Cam1ToCam0)

3.2 图像畸变矫正

* 生成畸变映射表
gen_camera_map (Cam0Map, Cam0Params, 'rectified', 640, 480)
...
* 应用畸变矫正
map_image (Cam0Image, Cam0Map, Cam0Rectified)

3.3 多分辨率图像融合

* 创建拼图金字塔
gen_gauss_pyramid (RectifiedImages, PyramidImages, 'constant', 3)
* 多尺度配准（相位相关法）
hom_vector_field_to_hom_mat3d (VectorField, 'threshold', 0.1, HomMat3D_Refined)
* 加权融合接缝（线性渐变权重）
blend_image_pair (Cam0Rectified, Cam1Rectified, HomMat3D_Cam1ToCam0, 'blend', 30, 0.5, StitchedImage)

4. 精度优化技巧

优化方向	实现方法
标定板检测优化	使用 `find_calib_object` 的 `alpha` 参数过滤低对比度边缘，提升角点定位稳定性
非线性误差抑制	在标定后调用 `refine_cameras` 进行Levenberg-Marquardt优化，减少重投影误差
温度补偿	采集时的环境温度记录，动态调整热膨胀导致的焦距变化（公式: `Δf = k*(T-T0)`）
振动补偿	通过标定板在位姿序列中的动态偏移量，反向补偿外参中的平移分量

5. 精度验证与误差分析

5.1 单像素靶标平移验证

* 在重叠区域放置可移动靶标
measure_pos (TargetImage, TargetROI, 1, 30, 'positive', 'first', Rows, Columns)
* 物理移动1mm（对应理论像素位移N），计算实际位移误差
PixelError := abs( (Columns2 - Columns1) - N )

5.2 拼接RMSE计算

* 计算所有匹配点对的均方根误差
get_calib_data_observ_contours (CaltabContours, CalibDataID, 'camera', 0, 0, 0)
project_calib_contours_xld (CaltabContours, CalibContoursProj, Cam0Params, PoseCam0)
area_center_points_xld (CalibContoursProj, Areas, RowProj, ColProj)
distance_pp (RowProj, ColProj, RowMeasured, ColMeasured, Distances)
RMSE := sqrt(mean(Distances^2))

6. 实时拼接代码框架（C++）

// 初始化映射表
HTuple hv_Maps;
for (int i=0; i<4; i++) 
  GenCameraMap(&hv_Maps[i], hv_CamParams[i], "rectified", 640, 480);

// 实时循环
while (true) 
{
  // 同步采集四路图像
  GrabImageParallel(&hv_Images, AcqHandles);

  // 并行矫正畸变
  MapImage(hv_Images[0], hv_Maps[0], &hv_Rectified[0]);
  ...

  // 投影到世界坐标系
  ProjectImage(hv_Rectified[0], &hv_WorldProj[0], hv_HomMat3D_Cam0ToWorld);

  // 融合器累加
  BlendImagesMultiBand(hv_WorldProj, &hv_StitchedImage, 3, 20.0);

  // 显示结果
  DispObj(hv_StitchedImage, WindowHandle);
}