目录
一、OpenCv Grabcut算法:前景提取与分割(Foreground segmentation and extraction)
一、OpenCv Grabcut算法:前景提取与分割(Foreground segmentation and extraction)
利用Mast R-CNN或U-Net生成的掩膜不完美,可以使用GrabCut来清理这些分割掩膜。
(一)算法工作原理
1、接收输入图像,参数一:想分割的图像中对象的位置的边界框;参数二:一种精确分割图像前景和背景的方法
2、 迭代下列操作
- 使用高斯混合模型(gaussian mixture model)估计(estimate)前景和背景颜色分布
- 在像素标签上(pixels labels)构造一个马尔可夫随机场(Markov random field)(如前景与背景)。
- 应用图切割优化(Graph cut optimization)来达到最终的分割
(二)opencv函数cv2.grabCut
grabCut(img, mask, rect, bgdModel, fgdModel, iterCount, mode) -> mask, bgdModel, fgdModel
参数说明
- img:输入图像,GrabCut假设它是一个8位的3通道图像(即, BGR信道顺序中的无符号8位整数)。
- mask:输入/输出掩膜。假设该掩膜是一个单通道图像,数据类型为无符号8位整数。如果你使用边界框初始化(第七个参数mode设为cv2.GC_INIT_WITH_RECT),这个掩膜会自动初始化。否则,GrabCut假设正在执行掩码初始化(第七个参数设为cv2.GC_INIT_WITH_MASK)。
- rect:包含我们要分割的区域的边框矩形。此参数仅在将模式设置为cv2.GC_INIT_WITH_MASK时使用)。
- bgdModel: GrabCut内部建模背景时使用的临时数组。
- fgdModel: GrabCut在建模前景时使用的临时数组。
- iterCount:GrabCut在对前景和背景建模时执行的迭代次数。迭代次数越多,GrabCut运行的时间越长,理想情况下,结果会更好。
- model:要么cv2.GC_INIT_WITH_RECT或cv2.GC_INIT_WITH_MASK,这分别取决于你是用一个边框还是一个掩码初始化GrabCut。
- OpenCV的GrabCut实现返回一个3元组:
- mask:应用GrabCut后的输出掩模
- fgdMode:用于建模背景的临时数组(可以忽略此值)
- fgdModel:用于建模前景的临时数组(同样可以忽略此值)
(三)实现opencv的带有边框的GrabCut初始化算法
边界框的实现方法:将指定在图像中分割的对象的边界框,只要算法生成一个边界框,就可以将它与GrabCut结合使用。边界框的实现方法如下:
- 手动检查图像并标记边框的(x,y)坐标
- 利用Haar级联
- 利用HOG+线性SVM检测目标
- 利用基于深度学习的对象检测器,如Faster R-CNN,SSDs,YOLO等
代码如下:
- 初始化GrabCut的边界框初始化方法
构造参数解析器并解析参数,该脚本处理两个命令行参数
-
–image:输入图像。在"D:\image目录中使用guangtou.png图像。
-
–iter:GrabCut迭代要执行的次数,较小的值会导致更快的总体时间,较大的值会导致较慢的运行时间(但理想情况下更好的分割结果)
# import the necessary packages
import numpy as np
import argparse
import time
import cv2
import os
# 构造参数解析器并解析参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", type=str,
default=os.path.sep.join([r"D:\image", "guangtou.png"]),
help="path to input image that we'll apply GrabCut to")
ap.add_argument("-c", "--iter", type=int, default=10,
help="# of GrabCut iterations (larger value => slower runtime)")
args = vars(ap.parse_args())
- 加载输入图像,并为相等大小的掩膜分配空间
# load the input image from disk and then allocate memory for the
# output mask generated by GrabCut -- this mask should hae the same
# spatial dimensions as the input image
image = cv2.imread(args["image"])
mask = np.zeros(image.shape[:2], dtype="uint8")
创建的掩膜很快就被GrabCut算法的结果填充。
- 手动定义guangtou.png中的人脸坐标,用矩形选择该区域,前两个参数为矩形左上角顶点,后两个参数为长和宽。
关于像素点的确定,可以使用Photoshop或GIMP等免费图形编辑软件。这里人脸rect坐标是手动确定的,任何对象检测器都可以完成这项工作,可以选择Haar、HOG或基于dll的面检测器来查找边界。
# define the bounding box coordinates that approximately define my
# face and neck region (i.e., all visible skin)
rect = (80, 20, 140, 230)
- 执行GrabCut算法,并对输入进行边界框初始化
# allocate memory for two arrays that the GrabCut algorithm internally
# uses when segmenting the foreground from the background
fgModel = np.zeros((1, 65), dtype="float") #两个空数组,便于在从背景分割前景时使用(fgModel和bgModel)
bgModel = np.zeros((1, 65), dtype="float")
# apply GrabCut using the the bounding box segmentation method
start = time.time()
#GrabCut返回我们填充的掩码以及两个我们可以忽略的数组
(mask, bgModel, fgModel) = cv2.grabCut(image, mask, rect, bgModel,fgModel, iterCount=args["iter"], mode=cv2.GC_INIT_WITH_RECT)
end = time.time()
print("[INFO] applying GrabCut took {:.2f} seconds".format(end - start))
- 继续对掩膜进行后期处理
# the output mask has for possible output values, marking each pixel
# in the mask as (1) definite background, (2) definite foreground,
# (3) probable background, and (4) probable foreground
values = (
("Definite Background", cv2.GC_BGD),
("Probable Background", cv2.GC_PR_BGD),
("Definite Foreground", cv2.GC_FGD),
("Probable Foreground", cv2.GC_PR_FGD),
)
# loop over the possible GrabCut mask values
for (name, value) in values:
# construct a mask that for the current value
print("[INFO] showing mask for '{}'".format(name))
valueMask = (mask == value).astype("uint8") * 255
# display the mask so we can visualize it
cv2.imshow(name, valueMask)
cv2.waitKey(0)
定义了输出的GrabCut掩膜中可能的值,包括我们确定的/可能的背景和前景。然后继续对这些值进行循环,以便我们可以可视化每个值。在循环中,我们为当前值构造一个掩码,并显示它,直到按下任何键为止。
- 在确定的/可能的背景和前景已经显示后,我们的代码将开始生成一个outputMask和一个输出图像(背景被掩盖)
# 找到所有确定的背景或可能的背景像素,并将它们设置为0 ,所有其他像素应该标记为1(前景)
outputMask = np.where((mask == cv2.GC_BGD) | (mask == cv2.GC_PR_BGD), 0, 1)
# scale the mask from the range [0, 1] to [0, 255]
outputMask = (outputMask * 255).astype("uint8")
# apply a bitwise AND to the image using our mask generated by
# GrabCut to generate our final output image
output = cv2.bitwise_and(image, image, mask=outputMask)
此时,我们有:
-
为grabCut函数准备的输入,包括输入图像、掩模、矩形坐标以及fgModel和bgModel零数组。注意,rect坐标是手动确定的。
-
执行GrabCut算法。
-
生成并可视化我们确定的/可能的背景和前景腌膜。
-
生成GrabCut输出掩膜(outputMask)和带有背景掩膜的输出图像(output)
- 继续并显示我们的最终结果
# show the input image followed by the mask and output generated by
# GrabCut and bitwise masking
cv2.imshow("Input", image) #原图
cv2.imshow("GrabCut Mask", outputMask) #GrabCUt生成的掩膜mask
cv2.imshow("GrabCut Output", output) #只有前景的原始图像
cv2.waitKey(0)
(四)输出结果显示
(五)小结
基于深度学习的分割网络,如Faster R-CNN和U-Net,可以自动生成从背景中分割物体(前景)的掩膜——这并不意味着GrabCut在深度学习时代是没意义的。虽然Faster R-CNN和U-Net是超级强大的方法,但它们会导致生成的掩膜混乱粗糙。我们可以用GrabCut来帮助清理这些掩膜得到更好的结果。