Halcon之光度立体法

xiaowu080

已于 2024-05-23 17:09:42 修改

阅读量1.7k

点赞数 28

分类专栏： Halcon 文章标签：计算机视觉人工智能深度学习

于 2024-05-23 16:52:43 首次发布

本文链接：https://blog.csdn.net/qq_41184334/article/details/139107373

版权

Halcon 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在halcon中，使用增强的光度立体视觉方法，三维表面检测被加强。利用阴影可方便快速的检测物体表面的缺口或凹痕。使用光度立体视觉方法可在复杂图像中轻松找到表面缺陷。

适用场景：光度立体法可以看作是2.5维，适用于检测金属物料上面的凹凸特征。

光度立体法的典型应用：

光度立体法的典型应用是检测物体表面微小变化，例如，受打光方向影响的缺陷。比如非平面的打印检测。光度立体法不适用于绝对高度的重建，它不能替代传统的3D重建算法，如对焦测距和激光三角测量。

光度立体法的局限性：
光度立体法基于Woodham算法。因此：

一方面假定相机是无畸变成像，也就是说必须使用远心镜头或者长焦镜头。

另一方面假定每一个光源发射的光束都是平行且均匀的，也就是说必须使用具有均匀强度的远心照明光源，或者使用远距离的点光源代替。

此外，物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。有镜面反射的物体或者区域（镜子或者光滑的表面）不能使用此方法，会得到一个错误的结果。

函数原理：

1.通过photometric_stereo算子获得表面梯度图像，该算子可以得到表面梯度图像和反照率图像。需要输入多张从不同角度照明所得到的图像。

2.通过derivate_vector_field算子获得高斯（平均）曲率图像，该算子中需要输入表面梯度图像。

光源：光度立体法不需要特殊的光源，只需要从不同的角度打光而已。

采集图像设置：
带有远心镜头的相机必须与被测物体表面垂直安装，在采集多幅图像时，一定要保证相机和物体不被移动。相反，对于采集至少三张的灰度图像，其每次取像的照明方向必须改变（相对于相机）

（注意：光度立体法需要使用灰度图，而且至少需要3张图像，最好是4张）

核心算子： photometric_stereo （根据光度立体技术重建曲面）

photometric_stereo (Images ,HeightField, Gradient, Albedo : Slant, Tilt, ResultType, ReconstructionMethod, GenParamName, GenParamValue )

参数列表：

Images：包含多个输入图像的图像元组。这些图像对应于不同光照条件下采集的物体表面图像。

HeightField：输出的高度图像。这个参数将包含根据输入图像计算得到的物体表面的高度信息。

Gradient：输出的梯度图像。这个参数将包含根据输入图像计算得到的物体表面的梯度信息。

Albedo：输出的反照率图像。这个参数将包含根据输入图像计算得到的物体表面的反照率信息。

Slant：光源倾斜角度。这个参数用于指定光源相对于物体表面的倾斜角度。

Tilt：光源倾斜角度。这个参数用于指定光源相对于物体表面的倾斜角度。

ResultType：请求结果类型。这个参数用于指定输出的结果类型，可以是高度图像、梯度图像或反照率图像。

ReconstructionMethod：重建方法。这个参数用于指定用于三维重建的方法，例如 "shape"（形状重建）或 "normals"（法线重建）。

GenParamName：通用参数名称。这个参数用于指定其他的通用参数名称，例如标定参数、光源参数等。

GenParamValue：通用参数值。这个参数用于指定与通用参数名称对应的参数值。

1.光照方向说明：
对于采集的多张图像中的每一幅图，照明方向必须指定Slants和Tilts两个参数角度，其描述了相对于当前场景的光照角度。为了更好的理解这两个参数含义，我们假定光源射出的光束是平行光，镜头是远心镜头，相机垂直于物体表面。

Slant参数：

Tilt参数：

这个角度是以图像为准的，比如光从图像右侧打过来，角度就是0°，从上面打过来，角度是90°，从左面打过来，角度是180°，下边打过来是270°。

正常情况下一般都是至少采集三张不同方向打光的图。但对于一些特殊的产品，因为阴影的原因，三个方向打光不能很好的表征缺陷特征，造成重建的图像特征不明显，这个时候就需要在原来基础上增加打光方向，避免死角。随着打光方向增加采集图像也跟着增加，那么算法处理时间也变长。根据经验：

4-6个不同方向打光能满足大部分应用；
Slant角度一般选择30度-60度；
Tilt角度通常都是均匀分布在被测物体周围，比如3个方向打光，Tilt角度应该是[0,120,240]OR[0,120,-120]，4个方向打光是[0,90,180,-90]。需要注意的是，打光方向不能相同，否则重构的图像结果达不到预期效果。

2.输入图像：

输入图像是一个图像数组，其中每张图像都是在不同打光方向下采集的。如果采集的是多通道图像，可以通过算子 image_to_channels转换成单通道图像，采集的多张图像可以通过算子concat_obj合并成一个数组图像。

光度立体法依托于对光度信息的评估，也就是图像中的灰度值。因此，图像质量的好坏决定了结果。要保证好的图像质量，首先要确保相机采集的图像具有线性特征，可以使用算子radiometric_self_calibration确认相机特性，如果相机采集的图像是非线性的，可以利用算子 lut_trans 矫正灰度信息。此外，如果需要更高精度，可以从以下两点着手：（1）、使用相机的全部动态范围；（2）、使用高于8位深度的图像（灰度范围0-65535而不是0-255类型的图像）

3.输出图像：
算子输出重建后的梯度、反射率、以及高度场图像。
1、梯度图（矢量场）是根据对图像求偏导数获取，它可以作为算子reconstruct_height_field_from_gradient的输入。
为了视觉观看更直观，将表面梯度进行归一化处理。因此ResultType类型需要设置成“normalized_gradient”，而不是“gradient”。如果ResultType设置成默认模式“all”，处理方式是“gradient”，而不是“normalized_gradient”，所以在参数设置时要根据需要设置。
2、Albedo 图像描述的是物体的反射率，其值介于0（黑色）-1（白色）之间。因此，Albedo反应了物体表面特性。比如对于印刷表面表面，Albedo反应的是表面明暗程度的特性。

3，HeightField 图像中每个像素值以某种关系与其高度一一对应。

4.ResultType参数：

默认情况下，ResultType设置成“all”。假如在应用中仅仅需要部分结果，可以通过数组的形式在‘gradient’, ‘albedo’, and ‘height_field’中选择设置ResultType参数，例如ResultType := [‘gradient’,‘albedo’]。对于特定的表面检测应用，如果只需要‘gradient’, ‘albedo’，那么将ResultType设置成‘gradient’, 'albedo’不进行三维重构（‘height_field’），处理速度将会有效提升。

5.photometric_stereo 函数：

photometric_stereo算子首先会计算出梯度矢量场，如果需要高度场，光度立体法内部会采用reconstruct_height_field_from_gradient算子进行整合处理，通过 ReconstructionMethod, GenParamName, and GenParamValue这三个参数控制效果。如果参数ResultType参数中没有设置‘height_field’，可以忽略这三个参数。

derivate_vector_field（处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场信息图）

derivate_vector_field(VectorField ,Result , Sigma, Component )

参数列表：
VectorField（in）// 梯度场图像
Result（out）    // 返回平均曲率场图像
Sigma（in）      // 高斯系数
Component（in）  //组件计算

derivate_vector_field函数详解：

将向量场的分量与高斯函数的导数进行卷积，并计算由此得到的各种特征。在光度立体项目中，专门用于处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场图像。

1.Sigma参数：

如果在Sigma中传递一个值，那么在列和行方向上的平滑量是相同的。

如果在Sigma中传递两个值，第一个值指定列方向的平滑量，第二个值指定行方向的平滑量。

2.Component参数：（有四个值可选，后两个值专用于光度立体）

curl，向量场的旋度。旋度的一个应用是分析光流场。旋度是如果向量场是流体，小船会旋转多少。
divergence，向量场的散度。“divergence”的一个应用是分析光流场。打个比方，如果向量场是流体，散度就是源和汇的位置。
mean_curvature，当输入向量场 VectorField为梯度场时，下垫面的平均曲率H。用于处理photometric_stereo返回的向量场。
gauss_curvature，当输入向量场 VectorField 为梯度场时，下垫面的高斯曲率K。用于处理photometric_stereo返回的向量场。

🤎halcon实例分析

1，皮革表面缺陷检测（inspect_leather_photometric_stereo.hdev）

在实际应用中，有些产品缺陷对光源角度有要求，且方向不固定（比如：带方向的缺陷，需要多角度打光才能凸显缺陷的产品）那么就可以考虑光度立体法。

💙利用反射率图像和梯度图像检测皮革表面缺陷

下面是两种皮革表面拍摄图像：

dev_close_window ()
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
* Part 1利用反射率图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_1_0' + [1:4])
write_image (Images, 'tiff', 0, 'D:/1.tiff')
** 展示不同方向光源成像图像
for I := 1 to 4 by 1
    Message := 'Sample 1: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor
* 应用光度立体法生成的反射率图进行缺陷检测
Tilts := [6.1,95.0,-176.1,-86.8]
Slants := [41.4,42.6,41.7,40.9]
ResultType := ['gradient','albedo']
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
* 显示反射率图
dev_display (Albedo)
*检测缺陷
var_threshold (Albedo, Region, 15, 15, 0.4, 0.4, 'light')
connection (Region, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 10, 99999)
union1 (SelectedRegions, RegionUnion)
closing_circle (RegionUnion, RegionClosing, 3.5)
connection (RegionClosing, Defects)
area_center (Defects, Area, Row, Column)
gen_circle (Circle, Row, Column, gen_tuple_const(|Row|,sqrt(Area) + 30))
*显示缺陷
dev_display (Albedo)
dev_set_color ('red')
dev_set_draw ('margin')
dev_set_line_width (4)
dev_display (Circle)

* Part 2 利用梯度图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_2_0' + [1:4])
for I := 1 to 4 by 1
    Message := 'Sample 2: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor

* 应用光度立体法生成的反射率图
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
*对反射率图二值化（发现无法二值化）
threshold (Albedo, Region1, 128, 255)
* 显示反射率图
dev_display (Albedo)
derivate_vector_field (Gradient, Curl, 1, 'curl')
derivate_gauss (Curl, CurlGradient, 1, 'gradient')
* 显示梯度图
dev_display (CurlGradient)
Message := 'Changes in the gradient curl'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()

* 用梯度图寻找缺陷
threshold (CurlGradient, Region, 0, 0.01)
rank_region (Region, RegionCount, 10, 10, 30)//归类区域
connection (RegionCount, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 2000, 99999)
union1 (SelectedRegions, RegionUnion)
rank_region (RegionUnion, RegionCount1, 25, 25, 170)
connection (RegionCount1, NoTextured)

* 显示
dev_display (Albedo)
dev_set_draw ('margin')
dev_set_color ('red')
dev_set_line_width (3)
dev_display (NoTextured)
disp_message (WindowHandle, 'Non-textured areas on leather', 'window', 12, 12, 'black', 'true')
stop ()

Part1：反射率图找缺陷 Part2：梯度图找缺陷