使用Julia进行图像处理--图像分割

前言

使用Julia的ImageSegmentation包，学习如何使用有监督和无监督的方法来简化或表示图像，使其更易于分析。有时，图像分割被称为图像识别中的第一步。

监督方法

图像分割是将图像的像素聚类或划分为与各个对象或对象的各个部分相对应的一组区域的过程。
医学图像处理，物体检测，人脸识别，行人检测和卫星照片分析结合了图像分割技术。图像分割技术可以简化和压缩图像大小。
有两种方法可以解决图像分割问题-有监督和无监督，即通过手动定义分割区域的数量或让算法完全完成工作。

种子区域增长

识别简单的对象

将前景对象（即猫）与背景的其余部分分开，首先将该图像加载到Julia中并对其进行预览：

using Images, ImageView, ImageSegmentation
img = load("cat-3352842_640.jpg");
imshow(img)

Julia实现了seeded_region_growing函数以完成分割任务。seeded_region_growing函数需要以下参数：

1. 一个图像
2. 一组指定每个分割区域的点

seeded_region_growing函数需要手动提供图片的坐标。例如上图中，最简单的选择是将光标悬停在猫上，然后从预览窗口的左下角记下坐标，如[220，250]。还需要草的值，如[220，500]。
ImageSegmentation包要求将所有分割块定义为CartesianIndex元组的数组以及块号：

seeds = [
 (CartesianIndex(220,250), 1), 
 (CartesianIndex(220,500), 2)
]

定义种子后，调用seeded_region_growing函数，该函数将每个像素分配给一个块，如下所示：

segments = seeded_region_growing(img, seeds)

使用map函数将每个像素的块号替换为块的平均颜色值：

imshow(map(i->segment_mean(segments,i), labels_map(segments)))

这将导致图像包含两种颜色，绿色代表草，另一种代表猫。由于图像相对简单并且可以轻松分离猫，因此结果的质量很高：

尽管该方法涉及手动工作，但在为神经网络执行的图像分割任务准备训练数据集时，它可能很方便。

识别复杂对象

尝试分离或分割无法轻易与背景分离或由多个部分组成的对象。尝试使用一张鸟的图像：

运行上一节中的代码，看看它是否需要任何改进：

using Images, ImageView, ImageSegmentation
img = load("bird-3183441_640.jpg");
seeds = [
 (CartesianIndex(220,250), 1), # apprx. object location
 (CartesianIndex(220,500), 2) # background location
]
segments = seeded_region_growing(img, seeds)
imshow(map(i->segment_mean(segments,i), labels_map(segments)))

从下面的图像中，可以看出它的最终效果与猫的图像不同。分割过程无法完全分离对象：

复杂之处在于，鸟由多种颜色组成，其中有些与背景相似。尝试定义更多的分割，看看是否可以改善结果。与上一节相同，将鼠标悬停在图像的不同区域上并记下坐标：

img = load("bird-3183441_640.jpg");
seeds = [
 (CartesianIndex(240,120), 1), 
 (CartesianIndex(295,70), 2),
 (CartesianIndex(319,40), 3),
 (CartesianIndex(90,300), 4),
 (CartesianIndex(295,325), 5),
 (CartesianIndex(76,135), 6) # background color
]
segments = seeded_region_growing(img, seeds)
imshow(map(i->segment_mean(segments,i), labels_map(segments)))

定义更多的分割有助于分离对象。还可以看到每个区域的平均颜色有多大差异，从沙色到黑色变化：

这种方法的最大缺点是必须手动定义分割区域。

无监督方法

无监督方法不需要标记区域或手动选择区域。识别分割块的过程是全自动的，具有一些可用于设置最小块大小和细分程度的超参数。

基于图的方法

使用Felzenszwalb算法，这是一种无监督且高效的基于图的方法。在计算机视觉中广泛应用。使用Felzenszwalb算法的好处如下：

1. 少数超参数
2. 快速，线性时间复杂度

Julia在felzenszwalb函数中实现了Felzenszwalb算法，该函数是ImageSegmentation包的一部分。 felzenszwalb具有两个参数：

1. 区域合并步长的阈值；值越大，分割越大，通常将其设置为10到500
2. 最小的块大小（可选）；通常为20或更高

根据任务，修改参数值。从加载包和图像开始：

using Images, ImageView, ImageSegmentation
img = load("cat-3352842_640.jpg");
imshow(img);

尝试使用合并步长阈值为75的Felzenszwalb算法，并比较其在最小段大小的不同值下的性能：

segments_1 = felzenszwalb(img, 75)
segments_2 = felzenszwalb(img, 75, 150)
segments_3 = felzenszwalb(img, 75, 350)

segment_x变量保留有关每个像素及其类的信息。
当比较Felzenszwalb算法的三种不同结果时，将从分割块到颜色的转换作为单独的函数：

segment_to_image(segments) = map(i->segment_mean(segments, i), labels_map(segments))

将结果合并在一起，并用黑线将它们分开：

img_width = size(img, 2)
new_img = hcat(
 segment_to_image(segments_1),
 segment_to_image(segments_2),
 segment_to_image(segments_3)
)
new_img[:, img_width] = new_img[:, img_width*2] .= colorant"black"
imshow(new_img)

尽管该算法的性能不如监督方法，但结果仍然可以接受。还应该注意三个不同图像上的细节数量。通过将最小片段大小从0像素增加到150和350像素，第二张图像减少了的细节数量，第三张图像中删除了的大多数前景和背景细节。

为前例中鸟的图像运行相同的代码，然后为这两个参数尝试不同的值。在下面的代码示例中，使用设置(10)，(30,50)和(35,300)来运行felzenszwalb函数。

# load an image
img = load("bird-3183441_640.jpg");
# find segments
segments_1 = felzenszwalb(img, 10)
segments_2 = felzenszwalb(img, 30, 50)
segments_3 = felzenszwalb(img, 20, 350)
# the rest of the code from a previous example
... 

第一次分割将鸟分离得很好，并保留了图像的大部分细节。第二个和第三个版本都是原始图像的简化版本，第三个图像很好地选择了前景区域，如下图所示：

快速扫描算法

快速扫描算法是另一种无监督的图像分割算法。快速扫描算法可有效用于食物，运动和医学图像。它通过扫描图像中的像素并将相似阈值内相似的相邻像素分组来工作。
Julia在fast_scanning函数中实现了快速扫描算法，该函数是Julia的ImageSegmentation软件包的一部分。 fast_scanning函数具有三个输入参数：

1. 图像：彩色或灰度
2. 阈值：图像范围内的浮点值或矩阵
3. diff_fn（可选）：计算差异的自定义函数

为每个分割图使用不同的值：0.05，0.15和0.2。值越高，将创建的分割数越少：

using Images, ImageView, ImageSegmentation
# convert image segments to mean color value
segment_to_image(segments) = map(i->segment_mean(segments, i), labels_map(segments))
img = load("cat-3352842_640.jpg");
# find segments
segments_1 = fast_scanning(img, 0.05)
segments_2 = fast_scanning(img, 0.15)
segments_3 = fast_scanning(img, 0.2)
# preview the results
img_width = size(img, 2)
new_img = hcat(
 segment_to_image(segments_1),
 segment_to_image(segments_2),
 segment_to_image(segments_3)
)
new_img[:, img_width] = new_img[:, img_width*2] .= colorant"black"
imshow(new_img)

该算法的执行速度比Felzenszwalb算法快得多。结果也具有较高的精度，如下所示：
第三张图像的唯一问题是快速扫描算法保留了一些小分割块。
使用分割修剪技术，类似于种子区域增长算法，将最小分割块大小设置为350像素。prune_segments函数要求定义两个匿名函数-一个用于识别小分割块像素，另一个用于实际替换：

deletion_rule = i -> (segment_pixel_count(segments_3, i) < 350)
replacement_rule = (i, j) -> (-segment_pixel_count(segments_3, j))
segments_n = prune_segments(segments_3, deletion_rule, replacement_rule)
imshow(segment_to_image(segments_n))

图像上没有噪点，并且猫的修剪效果非常好：

继续观察并比较该算法在鸟类图像上的性能：

# load an image
img = load("bird-3183441_640.jpg");
# find segments
segments_1 = fast_scanning(img, 0.05)
segments_2 = fast_scanning(img, 0.15)
segments_3 = fast_scanning(img, 0.2)
# the rest of the code from a previous example
... 

可以看到该算法根本没有取得预期效果。未能成功的原因有多种，以下两个是主要原因：

1. 太多小细节
2. 前景色与背景色相似

辅助函数

以下代码示例加载图像并在图像上运行Felzenszwalb算法：

using Images, ImageSegmentation
img = load("cat-3352842_640.jpg");
segments = felzenszwalb(img, 75, 350)

该算法的输出是什么？换句话说，segments变量中存储了什么？在Julia REPL中输入segments进行检查：

julia> segments
Segmented Image with:
labels map: 426×640 Array{Int64,2}
number of labels: 5

可以看到响应的格式，除了图像大小和标签或分割块的数量外，该响应不会暴露任何其他信息。为了从segments变量中检索信息，使用以下函数集：

1. labels_map：与图像的每个像素对应的标签数组
2. segment_labels：所有细分标签的列表，可以是1到N之间的数字，也可以是手动设置的值
3. segment_mean：分割块的平均值
4. segment_pixel_count：分割块中图片的像素数

一起使用所有这些函数的一个例子是segment_to_image函数，它遍历图像的每个像素，标识其分割块号，并将其转换为分割块的中值：

segment_to_image(segments) = map(i->segment_mean(segments, i), labels_map(segments))

后记

Enjoy coding.