GrabCut 获取前景物体
通过交互的方式获得前景物体.
- 用户指定前景的大体区域, 剩下的为背景区域.
- 用户可以明确指定某些地方为前景或背景.
- GrabCut采用分段迭代的方法分析前景物体, 形成模型树.
- 最后根据权重决定某个像素是前景还是背景.
GrabCut算法主要基于以下知识:
- k均值聚类
- 高斯混合模型建模(GMM)
- max flow/min cut
这里介绍一些GrabCut算法的实现步骤:
- 在图片中定义(一个或者多个)包含物体的矩形。
- 矩形外的区域被自动认为是背景 。
- 对于用户定义的矩形区域,可用背景中的数据来区分它里面的前景和背景区域。
- 用高斯混合模型(GMM)来对背景和前景建模,并将未定义的像素标记为可能的前景或者背景。
- 图像中的每一个像素都被看做通过虚拟边与周围像素相连接,而每条边都有一个属于前景或者背景的概率,这是基于它与周边像素颜色上的相似性。
- 每一个像素(即算法中的节点)会与一个前景或背景节点连接。
- 在节点完成连接后(可能与背景或前景连接),若节点之间的边属于不同终端(即一个节点属于前景,另一个节点属于背景),则会切断他们之间的边,这就能将图像各部分分割出来。下图能很好的说明该算法:
grabCut(img, mask, rect, bgdModel, fgdModel, iterCount[, mode]) -> mask, bgdModel, fgdModel
img——待分割的源图像,必须是8位3通道,在处理的过程中不会被修改
mask——掩码图像,如果使用掩码进行初始化,那么mask保存初始化掩码信息;在执行分割的时候,也可以将用户交互所设定的前景与背景保存到mask中,然后再传入grabCut函数;在处理结束之后,mask中会保存结果。mask只能取以下四种值:
GCD_BGD(=0),背景;
GCD_FGD(=1),前景;
GCD_PR_BGD(=2),可能的背景;
GCD_PR_FGD(=3),可能的前景。
- rect——用于限定需要进行分割的图像范围,只有该矩形窗口内的图像部分才被处理;
- bgdModel——背景模型,如果为None,函数内部会自动创建一个bgdModel;bgdModel必须是单通道浮点型图像,且行数只能为1,列数只能为13x5;
- fgdModel——前景模型,如果为None,函数内部会自动创建一个fgdModel;fgdModel必须是单通道浮点型图像,且行数只能为1,列数只能为13x5;
- iterCount——迭代次数,必须大于0;
- mode——用于指示grabCut函数进行什么操作,可选的值有:
GC_INIT_WITH_RECT(=0),用矩形窗初始化GrabCut;
GC_INIT_WITH_MASK(=1),用掩码图像初始化GrabCut;
GC_EVAL(=2),执行分割。
# 面向对象:把grabCut进行交互式抠图的功能封装成一个类
import cv2
import numpy as np
class App:
def __init__(self, image):
self.image = image
self.img = cv2.imread(self.image)
self.img2 = self.img.copy()
self.start_x = 0
self.start_y = 0
# 是否需要绘制矩形的标志
self.rect_flag = False
self.rect = (0, 0, 0, 0)
self.mask = np.zeros(shape=self.img.shape[:2], dtype=np.uint8)
# 输出
self.output = np.zeros(shape=self.img.shape[:2], dtype=np.uint8)
def on_mouse(self,event, x, y, flags, param):
# 按下左键开始框选前景区
if event == cv2.EVENT_LBUTTONDOWN:
# 记录起始坐标
self.start_x = x
self.start_y = y
self.rect_flag = True
elif event == cv2.EVENT_LBUTTONUP:
self.rect_flag = False
# 记录用户矩形的大小
self.rect = (min(self.start_x, x), min(self.start_y, y), abs(self.start_x - x), abs(self.start_y - y))
cv2.rectangle(self.img, (self.start_x, self.start_y), (x, y), (0, 0, 255), 2)
elif event == cv2.EVENT_MOUSEMOVE and self.rect_flag:
# 画矩形
self.img = self.img2.copy()
cv2.rectangle(self.img, (self.start_x, self.start_y), (x, y), (0, 255, 0), 2)
# 窗口 回调函数 图片
def run(self):
cv2.namedWindow('img')
# 绑定鼠标事件
cv2.setMouseCallback('img', self.on_mouse)
while True:
cv2.imshow('img', self.img)
cv2.imshow('output', self.output)
key = cv2.waitKey(1)
if key == 27: # 按Esc退出
break
elif key == ord('c'):
# 进行切图
cv2.grabCut(self.img2, self.mask, self.rect, None, None, 5, mode = cv2.GC_INIT_WITH_RECT)
# 此时mask已经被修改
# 把前景或者可能是前景的位置设置成255
mask2 = np.where((self.mask == 1) | (self.mask == 3), 255, 0).astype(np.uint8)
# 使用与运算抠图
self.output = cv2.bitwise_and(self.img2, self.img2, mask=mask2)
elif key == ord('x'): # 按下x键时,获取更大范围想要的前景
self.mask[200 : 300, 350: 450] = 1
cv2.grabCut(self.img2, self.mask, self.rect, None, None, 5, mode = cv2.GC_INIT_WITH_RECT)
mask2 = np.where((self.mask == 1) | (self.mask == 3), 255, 0).astype(np.uint8)
self.output = cv2.bitwise_and(self.img2, self.img2, mask=mask2)
cv2.destroyAllWindows()
app = App('images/lena.png')
app.run()