Halcon之光度立体法

在halcon中，使用增强的光度立体视觉方法，三维表面检测被加强。利用阴影可方便快速的检测物体表面的缺口或凹痕。 使用光度立体视觉方法可在复杂图像中轻松找到表面缺陷 。

适用场景：光度立体法可以看作是2.5维，适用于检测金属物料上面的凹凸特征。

光度立体法的典型应用：

光度立体法的典型应用是检测物体表面微小变化，例如，受打光方向影响的缺陷。比如非平面的打印检测。光度立体法不适用于绝对高度的重建，它不能替代传统的3D重建算法，如对焦测距和激光三角测量。

光度立体法的局限性：
光度立体法基于Woodham算法。因此：

一方面假定相机是无畸变成像，也就是说必须使用远心镜头或者长焦镜头。

另一方面假定每一个光源发射的光束都是平行且均匀的，也就是说必须使用具有均匀强度的远心照明光源，或者使用远距离的点光源代替。

此外，物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。有镜面反射的物体或者区域（镜子或者光滑的表面）不能使用此方法，会得到一个错误的结果。

函数原理：

     1.通过photometric_stereo算子获得表面梯度图像，该算子可以得到表面梯度图像和反照率图像。需要输入多张从不同角度照明所得到的图像。

      2.通过derivate_vector_field算子获得高斯（平均）曲率图像，该算子中需要输入表面梯度图像。

光源：光度立体法不需要特殊的光源，只需要从不同的角度打光而已。

采集图像设置：
带有远心镜头的相机必须与被测物体表面垂直安装，在采集多幅图像时，一定要保证相机和物体不被移动。相反，对于采集至少三张的灰度图像，其每次取像的照明方向必须改变（相对于相机）

（注意：光度立体法需要使用灰度图，而且至少需要3张图像，最好是4张）

 核心算子： photometric_stereo （根据光度立体技术重建曲面）

photometric_stereo (Images ,HeightField, Gradient, Albedo : Slant, Tilt, ResultType, ReconstructionMethod, GenParamName, GenParamValue )

参数列表：

Images：包含多个输入图像的图像元组。这些图像对应于不同光照条件下采集的物体表面图像。

HeightField：输出的高度图像。这个参数将包含根据输入图像计算得到的物体表面的高度信息。

Gradient：输出的梯度图像。这个参数将包含根据输入图像计算得到的物体表面的梯度信息。

Albedo：输出的反照率图像。这个参数将包含根据输入图像计算得到的物体表面的反照率信息。

Slant：光源倾斜角度。这个参数用于指定光源相对于物体表面的倾斜角度。

Tilt：光源倾斜角度。这个参数用于指定光源相对于物体表面的倾斜角度。

ResultType：请求结果类型。这个参数用于指定输出的结果类型，可以是高度图像、梯度图像或反照率图像。

ReconstructionMethod：重建方法。这个参数用于指定用于三维重建的方法，例如 "shape"（形状重建）或 "normals"（法线重建）。

GenParamName：通用参数名称。这个参数用于指定其他的通用参数名称，例如标定参数、光源参数等。

GenParamValue：通用参数值。这个参数用于指定与通用参数名称对应的参数值。

1.光照方向说明：
对于采集的多张图像中的每一幅图，照明方向必须指定Slants和Tilts两个参数角度，其描述了相对于当前场景的光照角度。为了更好的理解这两个参数含义，我们假定光源射出的光束是平行光，镜头是远心镜头，相机垂直于物体表面。

Slant参数：                                                     

Tilt参数：

 这个角度是以图像为准的，比如光从图像右侧打过来，角度就是0°，从上面打过来，角度是90°，从左面打过来，角度是180°，下边打过来是270°。

 正常情况下一般都是至少采集三张不同方向打光的图。但对于一些特殊的产品，因为阴影的原因，三个方向打光不能很好的表征缺陷特征，造成重建的图像特征不明显，这个时候就需要在原来基础上增加打光方向，避免死角。随着打光方向增加采集图像也跟着增加，那么算法处理时间也变长。根据经验：

1. 4-6个不同方向打光能满足大部分应用；
2. Slant角度一般选择30度-60度；
3. Tilt角度通常都是均匀分布在被测物体周围，比如3个方向打光，Tilt角度应该是[0,120,240]OR[0,120,-120]，4个方向打光是[0,90,180,-90]。需要注意的是，打光方向不能相同，否则重构的图像结果达不到预期效果。

2.输入图像：

输入图像是一个图像数组，其中每张图像都是在不同打光方向下采集的。如果采集的是多通道图像，可以通过算子 image_to_channels转换成单通道图像，采集的多张图像可以通过算子concat_obj合并成一个数组图像。

光度立体法依托于对光度信息的评估，也就是图像中的灰度值。因此，图像质量的好坏决定了结果。要保证好的图像质量，首先要确保相机采集的图像具有线性特征，可以使用算子radiometric_self_calibration确认相机特性，如果相机采集的图像是非线性的，可以利用算子 lut_trans 矫正灰度信息。此外，如果需要更高精度，可以从以下两点着手：（1）、使用相机的全部动态范围；（2）、使用高于8位深度的图像（灰度范围0-65535而不是0-255类型的图像）

3.输出图像：
算子输出重建后的梯度、反射率、以及高度场图像。
1、梯度图（矢量场）是根据对图像求偏导数获取，它可以作为算子reconstruct_height_field_from_gradient的输入。
为了视觉观看更直观，将表面梯度进行归一化处理。因此ResultType类型需要设置成“normalized_gradient”，而不是“gradient”。如果ResultType设置成默认模式“all”，处理方式是“gradient”，而不是“normalized_gradient”，所以在参数设置时要根据需要设置。
2、Albedo 图像描述的是物体的反射率，其值介于0（黑色）-1（白色）之间。因此，Albedo反应了物体表面特性。比如对于印刷表面表面，Albedo反应的是表面明暗程度的特性。

3，HeightField 图像中每个像素值以某种关系与其高度一一对应。

4.ResultType参数：

默认情况下，ResultType设置成“all”。假如在应用中仅仅需要部分结果，可以通过数组的形式在‘gradient’, ‘albedo’, and ‘height_field’中选择设置ResultType参数，例如ResultType := [‘gradient’,‘albedo’]。对于特定的表面检测应用，如果只需要‘gradient’, ‘albedo’，那么将ResultType设置成‘gradient’, 'albedo’不进行三维重构（‘height_field’），处理速度将会有效提升。

5.photometric_stereo 函数：

photometric_stereo算子首先会计算出梯度矢量场，如果需要高度场，光度立体法内部会采用reconstruct_height_field_from_gradient算子进行整合处理，通过 ReconstructionMethod, GenParamName, and GenParamValue这三个参数控制效果。如果参数ResultType参数中没有设置‘height_field’，可以忽略这三个参数。

derivate_vector_field（处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场信息图）

derivate_vector_field(VectorField ,Result , Sigma, Component )

参数列表：
VectorField（in）// 梯度场图像
Result（out）    // 返回平均曲率场图像
Sigma（in）      // 高斯系数
Component（in）  //组件计算

derivate_vector_field函数详解：

将向量场的分量与高斯函数的导数进行卷积，并计算由此得到的各种特征。在光度立体项目中，专门用于处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场图像。

1.Sigma参数：

如果在Sigma中传递一个值，那么在列和行方向上的平滑量是相同的。

如果在Sigma中传递两个值，第一个值指定列方向的平滑量，第二个值指定行方向的平滑量。

2.Component参数：（有四个值可选，后两个值专用于光度立体）

1. curl，向量场的旋度。旋度的一个应用是分析光流场。旋度是如果向量场是流体，小船会旋转多少。
2. divergence，向量场的散度。“divergence”的一个应用是分析光流场。打个比方，如果向量场是流体，散度就是源和汇的位置。
3. mean_curvature，当输入向量场 VectorField为梯度场时，下垫面的平均曲率H。用于处理photometric_stereo返回的向量场。
4. gauss_curvature，当输入向量场 VectorField 为梯度场时，下垫面的高斯曲率K。用于处理photometric_stereo返回的向量场。

🤎halcon实例分析

---

 1，皮革表面缺陷检测（inspect_leather_photometric_stereo.hdev）

在实际应用中，有些产品缺陷对光源角度有要求，且方向不固定（比如：带方向的缺陷，需要多角度打光才能凸显缺陷的产品）那么就可以考虑光度立体法。

💙利用反射率图像和梯度图像检测皮革表面缺陷

下面是两种皮革表面拍摄图像：

dev_close_window ()
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
* Part 1利用反射率图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_1_0' + [1:4])
write_image (Images, 'tiff', 0, 'D:/1.tiff')
** 展示不同方向光源成像图像
for I := 1 to 4 by 1
    Message := 'Sample 1: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor
* 应用光度立体法生成的反射率图进行缺陷检测
Tilts := [6.1,95.0,-176.1,-86.8]
Slants := [41.4,42.6,41.7,40.9]
ResultType := ['gradient','albedo']
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
* 显示反射率图
dev_display (Albedo)
*检测缺陷
var_threshold (Albedo, Region, 15, 15, 0.4, 0.4, 'light')
connection (Region, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 10, 99999)
union1 (SelectedRegions, RegionUnion)
closing_circle (RegionUnion, RegionClosing, 3.5)
connection (RegionClosing, Defects)
area_center (Defects, Area, Row, Column)
gen_circle (Circle, Row, Column, gen_tuple_const(|Row|,sqrt(Area) + 30))
*显示缺陷
dev_display (Albedo)
dev_set_color ('red')
dev_set_draw ('margin')
dev_set_line_width (4)
dev_display (Circle)

* Part 2 利用梯度图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_2_0' + [1:4])
for I := 1 to 4 by 1
    Message := 'Sample 2: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor

* 应用光度立体法生成的反射率图
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
*对反射率图二值化（发现无法二值化）
threshold (Albedo, Region1, 128, 255)
* 显示反射率图
dev_display (Albedo)
derivate_vector_field (Gradient, Curl, 1, 'curl')
derivate_gauss (Curl, CurlGradient, 1, 'gradient')
* 显示梯度图
dev_display (CurlGradient)
Message := 'Changes in the gradient curl'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()

* 用梯度图寻找缺陷
threshold (CurlGradient, Region, 0, 0.01)
rank_region (Region, RegionCount, 10, 10, 30)//归类区域
connection (RegionCount, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 2000, 99999)
union1 (SelectedRegions, RegionUnion)
rank_region (RegionUnion, RegionCount1, 25, 25, 170)
connection (RegionCount1, NoTextured)

* 显示
dev_display (Albedo)
dev_set_draw ('margin')
dev_set_color ('red')
dev_set_line_width (3)
dev_display (NoTextured)
disp_message (WindowHandle, 'Non-textured areas on leather', 'window', 12, 12, 'black', 'true')
stop ()

 Part1：反射率图找缺陷                                                                                                    Part2：梯度图找缺陷

 

 思考：Part1利用反射率图检测皮革表面缺陷，而Part2却利用梯度信息图检测缺陷，Why？

[分析]

 仔细观察不难发现，Part1中的缺陷区域（左图）展现的都是高亮特性。缺陷特征比背景区域具有较高的反光特性，所以反射率图能很好的凸显缺陷特征，所以用反射率图检测缺陷。

如果用梯度图去检测Part1中的缺陷会怎样呢？如下图：（可以看出缺陷和纹理对比度很差，所以不能用梯度信息图检测Part1中的缺陷。）

 对于Part2，可以发现，缺陷为细条状，是比较明显的划痕因此利用梯度信息图检测这种缺陷是一种不错的选择。