learn opencv-使用OpenCV的自动红眼删除

参考：https://github.com/spmallick/learnopencv

---

使用OpenCV的自动红眼删除（C ++ / Python）

在本教程中，我们将学习如何完全自动地从照片中删除红眼。

建立一个强大的红眼消除应用程序，将在各种图像工作超出了这篇文章的范围。但是，我们将学习基本原理，并构建概念应用的证明。

什么原因导致闪光摄影中的红眼效应？

当你在一个黑暗的房间里，你的瞳孔会扩大（放大）让更多的光线让你看得更清楚。 大多数相机的闪光灯非常接近镜头。 当您用闪光灯拍摄照片时，闪光灯的光线通过放大的瞳孔到达眼球的后部，并通过瞳孔返回到相机的镜头。 眼球的后面叫做眼底。 由于眼底充足的血液供应，呈红色。

眼底的图像显示在左边。 检查眼底可以揭示很多关于一个人的健康状况。 你甚至可以得到智能手机应用程序，帮助你看附件的眼底。

大多数相机闪烁这几天闪烁几秒钟，使瞳孔收缩，从而减少红眼的可能性。

要轻松地按照下面的文章，请在这里订阅并下载代码。

如何自动删除红眼？

在本节中，我们将逐步介绍用于自动消除红眼的算法。

第1步：眼睛检测

第一步是自动检测眼睛。 我们使用标准的OpenCV Haar探测器（haarcascade_eye.xml）来寻找眼睛。 有时，首先运行人脸检测器，然后检测人脸区域内的眼睛是有意义的。 为了简单起见，我们直接在图像上运行眼睛检测器。 当输入的图像是人像照片时，跳过人脸检测器工作，或者您有一个特写的眼睛。

您也可以按照这里的说明来训练您自己的HAAR物体探测器。

我在下面分享眼睛检测器的代码。

C++

// Read image
Mat img = imread("red_eyes.jpg",CV_LOAD_IMAGE_COLOR);

// Output image
Mat imgOut = img.clone();

// Load HAAR cascade 
CascadeClassifier eyes_cascade("haarcascade_eye.xml");

// A vector of Rect for storing bounding boxes for eyes.
std::vector<Rect> eyes;

// Detect eyes. 
eyesCascade.detectMultiScale( img, eyes, 1.3, 4, 0 | CASCADE_SCALE_IMAGE, Size(100, 100) );

Python

# Read image
img = cv2.imread("red_eyes.jpg", cv2.IMREAD_COLOR)

# Output image
imgOut = img.copy()

# Load HAAR cascade
eyesCascade = cv2.CascadeClassifier("haarcascade_eye.xml")

# Detect eyes
eyes = eyesCascade.detectMultiScale(img,scaleFactor=1.3, minNeighbors=4, minSize=(100, 100))

第2步：掩蔽红色的眼睛

接下来，我们需要找到受红眼影响的那部分瞳孔。有很多不同的方式来找到红色的东西。有一点要注意的是，我们的颜色不只是红色，它是鲜红的！您可以将图像转换为HSV色彩空间和基于色调和亮度的阈值。在这篇文章中，我们使用了一个更简单的启发式。我们说他的红色通道应该大于一个门槛，也是绿色和蓝色通道的总和。对于概念验证系统来说，启发式就足够了，但是如果要为商业软件包构建自动防红眼系统，则需要收集成千上万的红眼图片才能找到更好的东西。

在下面的代码中，我们循环遍历前一步检测到的所有眼睛矩形。然后我们使用命令split将彩色图像分成三个通道。最后，我们为红色通道高于阈值（150）并且红色通道大于绿色和蓝色通道总和的每个像素创建一个mask。

C++

for( size_t i = 0; i < eyes.size(); i++ )
{

  // Extract eye from the image.
  Mat eye = img(eyes[i]);

  // Split eye image into 3 channels.
  vector<Mat>bgr(3);
  split(eye,bgr);

  // Simple red eye detector
  Mat mask = (bgr[2] > 150) &amp; (bgr[2] &gt; ( bgr[1] + bgr[0] ));
}

Python

for (x, y, w, h) in eyes:

  # Extract eye from the image.
  eye = img[y:y+h, x:x+w]

  # Split eye image into 3 channels
  b = eye[:, :, 0]
  g = eye[:, :, 1]
  r = eye[:, :, 2]

  # Add the green and blue channels. 
  bg = cv2.add(b, g)

  # Simple red eye detector
  mask = (r > 150) &  (r > bg)

  # Convert the mask to uint8 format. 
  mask = mask.astype(np.uint8)*255

第3步：清理瞳孔mask

上一步创建的mask很可能会有空洞。 上图中的左图显示了使用颜色处理获得的原始mask。 我们已经使用下面分享的代码删除了掩码中的洞。 要了解更多关于它的工作原理，你可以看看我的帖子填充孔。

C++

void fillHoles(Mat &mask)
{

  Mat mask_floodfill = mask.clone();
  floodFill(mask_floodfill, cv::Point(0,0), Scalar(255));
  Mat mask2;
  bitwise_not(mask_floodfill, mask2);
  mask = (mask2 | mask);

}

Python

def fillHoles(mask):
    maskFloodfill = mask.copy()
    h, w = maskFloodfill.shape[:2]
    maskTemp = np.zeros((h+2, w+2), np.uint8)
    cv2.floodFill(maskFloodfill, maskTemp, (0, 0), 255)
    mask2 = cv2.bitwise_not(maskFloodfill)
    return mask2 | mask

此外，扩大mask是一个好主意，因此它覆盖了一个稍大于必要的区域。 这是因为在边界，颜色逐渐消失，在我们原来的面具中可能没有发现一些发红。 在上图中，正确的图像是扩大的面具。 我们使用下面分享的代码生成扩张的mask。

C++

// Clean up mask by filling holes and dilating
fillHoles(mask);
dilate(mask, mask, Mat(), Point(-1, -1), 3, 1, 1);

Python

# Clean up mask by filling holes and dilating
mask = fillHoles(mask)
mask = cv2.dilate(mask, None, anchor=(-1, -1), iterations=3, borderType=1, borderValue=1)

第4步：修复红眼

现在我们有一个只包含每只眼睛的红色区域的mask。 接下来我们将展示如何处理这个mask内的区域来修复红色的眼睛。

我们知道，红色的眼睛饱和了图像中的红色通道。 换句话说，红色通道中的所有信息都被破坏了。 我们怎样才能恢复这些信息呢？ 在固定红眼时，我们不需要在红色通道中检索真正的底层纹理; 我们只需要找到一个合理的纹理。

幸运的是，红眼效果只会在红色通道中破坏纹理; 蓝色和绿色的渠道还是不错的。 您可以在下图中看到图像的红色，绿色和蓝色通道。

绿色和蓝色通道的组合可以用来提出一个合理的红色通道。 例如，我们可以创建一个红色通道，它是图像中绿色和蓝色通道的平均值。 然而，这样做可能会给瞳孔一点点色彩，可能看起来不错，但不是很好。 注意中间图像中的紫色色调。

这给我们带来了一个重要的问题。 瞳孔的颜色应该是什么？ 瞳孔是眼睛的开口，眼睛内部是完全黑暗的。 因此，瞳孔应该是无色的（灰度）和黑暗的。 我们不是只替换瞳孔区域的红色通道，而是用绿色和蓝色通道的平均值替换所有的通道。 这消除了紫色的色调。

下面的代码首先通过平均绿色和蓝色通道来创建平均通道。 然后用这个平均通道代替所有通道掩蔽区域内的所有像素。

C++

// Calculate the mean channel by averaging
// the green and blue channels
Mat mean = (bgr[0]+bgr[1])/2;

// Copy the mean image to blue channel with mask.
mean.copyTo(bgr[0], mask);

// Copy the mean image to green channel with mask.
mean.copyTo(bgr[1], mask);

// Copy the mean image to red channel with mask.
mean.copyTo(bgr[2], mask);

Python

# Calculate the mean channel by averaging
# the green and blue channels. Recall, bg = cv2.add(b, g)
mean = bg / 2
mask = mask.astype(np.bool)[:, :, np.newaxis]
mean = mean[:, :, np.newaxis]

# Copy the eye from the original image. 
eyeOut = eye.copy()

# Copy the mean image to the output image. 
np.copyto(eyeOut, mean, where=mask)

第5步：更换固定的眼睛区域

在前一步，我们已经固定了三个通道。 最后一步是合并三个通道来创建RGB图像，然后将这个固定的眼睛区域放回到原始图像中。

C++

// Merge the three channels
Mat eyeOut;
merge(bgr,eyeOut);

// Copy the fixed eye to the output image. 
eyeOut.copyTo(imgOut(eyes[i]));

Python

# Copy the fixed eye to the output image. 
imgOut[y:y+h, x:x+w, :] = eyeOut

自动红眼消除结果

完整代码