十五天掌握OpenCV——使用GrabCut算法进行交互式前景提取

GrabCut算法工作原理：
user用矩形框选前景区域；算法进行迭代式分割以求最好结果。算法识别不理想时，用户在不理想部位单击鼠标进行改善。

1. 用户输入矩形，矩形外是背景，内部未知。
2. 计算机对输入图像进行初始化标记。
3. 使用高斯混合模型（GMM）对前景、背景建模。
4. GMM学习且创建新的像素分布。
5. 根据像素分布创建一副图，图中节点是像素点。前景像素与节点Source_node相连，背景像素与节点Sink_node相连。
6. 像素与谁连接的权重由同属于一类的概率决定。若两像素颜色差异大，权重就小。
7. mincut算法对上图分割。根据最低成本方程分割图片的source_node、sink_node。成本方程是剪掉所有边的权重和。连接source_node的像素是前景，连接sink_node的像素是背景。
8. 不断迭代直到分类收敛。

演示

cv2.grabcut(img,mask,rect,bdgModel,fgdModel,iterCount,mode)

1. mask:掩模图像，确定区域是前景、背景。可设置为cv2.GC_BGD,cv2.GC_FGD,cv2.GC_PR_BGD,cv2.GC_PR_FGD。或者输入0,1,2,3.
2. rect:包含前景的矩形。格式（x,y,w,h）
3. bdgModel,fgdModel:算法内部使用数组，创建两个大小（1,65），数据类型np.float64的数组。
4. iterCount:算法迭代次数。
5. mode:可设为cv2.GC_INIT_WITH_RECT cv2.GC_INIT_WITH_MASK或联合使用。确定修改方式，矩形模式或掩模模式。

代码演示

#coding=utf-8
import cv2
import numpy as np
from matplotlib import pyplot as plt

img=cv2.imread('./image2/mario.jpg')
mask=np.zeros(img.shape[:2],np.uint8)

bgdModel=np.zeros((1,65),np.float64)
fgdModel=np.zeros((1,65),np.float64)

rect=(100,300,200,300)
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)

mask2=np.where((mask==2)|(mask==0),0,1).astype('uint8')
img2=img*mask2[:,:,np.newaxis]

plt.subplot(121),plt.imshow(img,cmap='gray')
plt.title('original'),plt.xticks([]),plt.yticks([])
plt.subplot(122),plt.imshow(img2,cmap='gray')
plt.title('result'),plt.xticks([]),plt.yticks([])
plt.colorbar()
plt.show()

掩模图像

新建一个图像，在需要的地方添加白色，其他地方用黑色或灰色，成为掩模图像。导入掩模图像进OpenCV，对原掩模图像进行编辑。

newmask=cv2.imread('./image2/coin.jpg',0)
mask[newmask==0]=0
mask[newmask==255]=1

mask,bgdModel,fgdModel=cv2.grabCut(img,mask,None,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_MASK)
mask=np.where((mask==2)|(mask==0),0,1).astype('uint8')
img3=img*mask2[:,:,np.newaxis]

提醒

无需矩形初始化直接掩模图像模式亦可，使用2、3像素标记矩形区域像素。前景像素标记1像素。然后直接在掩模图像模式使用grabCut函数。