openCV【实践系列】7——面部标志检测

在本教程中，我们将学习如何完全自动地从照片中消除红眼。

如何自动删除红眼？

第1步：眼睛检测

第一步是自动检测眼睛。我们使用标准的OpenCV Haar检测器（haarcascade_eye.xml）来寻找眼睛。有时，首先运行面部检测器然后检测面部区域内的眼睛是有意义的。为了简单起见，我们直接在图像上运行眼睛检测器。当输入图像是人像拍摄，或者你有眼睛的特写镜头时，跳过面部检测器。

第2步：遮住红眼睛

接下来，我们需要找到受红眼影响的瞳孔部分。有许多不同的方法可以找到红色的东西。需要注意的一点是，我们的颜色不仅仅是红色，而是鲜红色！你可以根据色度和亮度将图像转换为HSV色彩空间和阈值。在这篇文章中，我们使用了一种更简单的启发式方法。我们说他的红色通道应该大于阈值，也是绿色和蓝色通道的总和。出于概念验证系统的目的，启发式是足够的，但如果你想为商业软件包构建自动防红眼，你需要收集成千上万的红眼图像才能做出更好的东西。

在下面的代码中，我们遍历我们在上一步中检测到的所有眼睛矩形。然后我们使用命令split将彩色图像分割成三个通道。最后，我们为每个像素创建一个掩码，其中红色通道高于阈值（150），红色通道大于绿色和蓝色通道的总和。

代码：

for (x, y, w, h) in eyes:
  # 从图像中提取眼睛的位置
  eye = img[y:y+h, x:x+w]
  # 将眼睛图像分离成3通道
  b = eye[:, :, 0]
  g = eye[:, :, 1]
  r = eye[:, :, 2]
  # 添加绿色和蓝色通道
  bg = cv2.add(b, g)
  # 简单的红眼检测器
  mask = (r > 150) &  (r > bg)
  # 将掩码转换为uint8格式
  mask = mask.astype(np.uint8)*255

3步：清理瞳孔掩码

图1：左：基于颜色的瞳孔掩模 中间：填充孔的瞳孔掩模 右：膨胀瞳孔掩模

在上一步中创建的掩模很可能会有洞。图1中的左图显示了使用颜色处理获得的原始掩模。我们使用下面分享的代码删除了掩码中的洞。

def fillHoles(mask):
    maskFloodfill = mask.copy()
    h, w = maskFloodfill.shape[:2]
    maskTemp = np.zeros((h+2, w+2), np.uint8)
    cv2.floodFill(maskFloodfill, maskTemp, (0, 0), 255)
    mask2 = cv2.bitwise_not(maskFloodfill)
    return mask2 | mask

此外，膨胀掩模是一个好主意，以便于它覆盖了比需要的区域稍大。这是因为在边界处颜色逐渐消失，并且在我们的最初掩模中可能没有捕捉到一些红色。在图1中，右图是膨胀的掩模。我们使用下面分享的代码来膨胀掩模。

# 通过填充孔和膨胀来清理掩模
mask = fillHoles(mask)
mask = cv2.dilate(mask, None, anchor=(-1, -1), iterations=3, borderType=1, borderValue=1)

4步：修复红眼

现在我们有一个只包含每只眼睛红色区域的掩模。我们接下来展示如何处理这个掩模内的区域以修复红眼。

我们知道红眼睛会使图像中的红色通道饱和。换句话说，红色通道中的所有信息都被破坏。我们怎样才能恢复这些信息呢？修复红眼时，我们不需要在红色通道中检索真正的底层纹理; 我们只需要找到合理的纹理。

幸运的是，红眼效果仅在红色通道中破坏纹理; 蓝色和绿色通道仍然很好。您可以在下图中看到图像的红色，绿色和蓝色通道

图2：左：红色通道 中间：蓝色通道 右：绿色通道

可以使用绿色和蓝色通道的组合来提供合理的红色通道。例如，我们可以创建一个红色通道，它是图像中绿色和蓝色通道的平均值。然而，这样做可能会给瞳孔带来轻微的色调，看起来不错，但不是很好。注意中心图像中的紫色调

图3：左：红眼 中间：通过更换红色通道修复 右：通过更换所有通道修复

 

这给我们带来了一个重要问题。瞳孔的颜色应该是什么？瞳孔是眼睛的开口，眼睛的内部是完全黑暗的。因此，瞳孔应该是无色的（灰度）和黑暗的。我们不是仅仅替换瞳孔区域中的红色通道，而是用绿色和蓝色通道的平均值替换所有通道，这就消除了紫色调。

下面的代码首先通过平均绿色和蓝色通道来创建平均通道。然后用该平均通道替换所有通道的掩模区域内的所有像素

 

# 通过平均绿色和蓝色通道值来计算平均通道
#Recall, bg = cv2.add(b, g)
mean = bg / 2
mask = mask.astype(np.bool)[:, :, np.newaxis]
mean = mean[:, :, np.newaxis]
# 从初始图像中复制眼睛
eyeOut = eye.copy()
# 将平均图像复制到输出图像
np.copyto(eyeOut, mean, where=mask)

步骤5：更换修复的眼睛区域

在上一步中，我们修复了三个通道。最后一步是合并三个通道以创建RGB图像，然后将此修复的眼睛区域放回原始图像中。

代码：

# 将修复的眼睛复制到输出图像
imgOut[y:y+h, x:x+w, :] = eyeOut

自动红眼消除结果

我们首先在开始的示例图像上显示结果。

图4：红眼消除结果

请注意，从瞳孔掩模区域移除所有颜色会使图像看起来很漂亮，因为眼睛中心的点是完全白色的。还要注意，在瞳孔的边界上红色消失，但是由于膨胀操作，我们仍然可以捕获到该区域。

openCV【实践系列】7——面部标志检测
https://bbs.easyaiforum.cn/thread-854-1-1.html
(出处: 易学智能)