转自 zouxy09
GrabCut 原理参考这里,以下为 GrabCut 源码:
——看别人写的好的代码也很享受,干净利落,有些处理的细节也学习一下。
/*M///
//
// IMPORTANT: READ BEFORE DOWNLOADING, COPYING, INSTALLING OR USING.
//
// By downloading, copying, installing or using the software you agree to this license.
// If you do not agree to this license, do not download, install,
// copy or use the software.
//
//
// Intel License Agreement
// For Open Source Computer Vision Library
//
// Copyright (C) 2000, Intel Corporation, all rights reserved.
// Third party copyrights are property of their respective owners.
//
// Redistribution and use in source and binary forms, with or without modification,
// are permitted provided that the following conditions are met:
//
// * Redistribution's of source code must retain the above copyright notice,
// this list of conditions and the following disclaimer.
//
// * Redistribution's in binary form must reproduce the above copyright notice,
// this list of conditions and the following disclaimer in the documentation
// and/or other materials provided with the distribution.
//
// * The name of Intel Corporation may not be used to endorse or promote products
// derived from this software without specific prior written permission.
//
// This software is provided by the copyright holders and contributors "as is" and
// any express or implied warranties, including, but not limited to, the implied
// warranties of merchantability and fitness for a particular purpose are disclaimed.
// In no event shall the Intel Corporation or contributors be liable for any direct,
// indirect, incidental, special, exemplary, or consequential damages
// (including, but not limited to, procurement of substitute goods or services;
// loss of use, data, or profits; or business interruption) however caused
// and on any theory of liability, whether in contract, strict liability,
// or tort (including negligence or otherwise) arising in any way out of
// the use of this software, even if advised of the possibility of such damage.
//
//M*/
#include "precomp.hpp"
#include "gcgraph.hpp"
#include <limits>
using namespace cv;
/*
This is implementation of image segmentation algorithm GrabCut described in
"GrabCut — Interactive Foreground Extraction using Iterated Graph Cuts".
Carsten Rother, Vladimir Kolmogorov, Andrew Blake.
*/
/*
GMM - Gaussian Mixture Model
*/
class GMM
{
public:
static const int componentsCount = 5;
GMM( Mat& _model );
double operator()( const Vec3d color ) const;
double operator()( int ci, const Vec3d color ) const;
int whichComponent( const Vec3d color ) const;
void initLearning();
void addSample( int ci, const Vec3d color );
void endLearning();
private:
void calcInverseCovAndDeterm( int ci );
Mat model;
double* coefs;
double* mean;
double* cov;
double inverseCovs[componentsCount][3][3]; //协方差的逆矩阵
double covDeterms[componentsCount]; //协方差的行列式
double sums[componentsCount][3];
double prods[componentsCount][3][3];
int sampleCounts[componentsCount];
int totalSampleCount;
};
//背景和前景各有一个对应的GMM(混合高斯模型)
GMM::GMM( Mat& _model )
{
//一个像素的(唯一对应)高斯模型的参数个数或者说一个高斯模型的参数个数
//一个像素RGB三个通道值,故3个均值,3*3个协方差,共用一个权值
const int modelSize = 3/*mean*/ + 9/*covariance*/ + 1/*component weight*/;
if( _model.empty() )
{
//一个GMM共有componentsCount个高斯模型,一个高斯模型有modelSize个模型参数
_model.create( 1, modelSize*componentsCount, CV_64FC1 );
_model.setTo(Scalar(0));
}
else if( (_model.type() != CV_64FC1) || (_model.rows != 1) || (_model.cols != modelSize*componentsCount) )
CV_Error( CV_StsBadArg, "_model must have CV_64FC1 type, rows == 1 and cols == 13*componentsCount" );
model = _model;
//注意这些模型参数的存储方式:先排完componentsCount个coefs,再3*componentsCount个mean。
//再3*3*componentsCount个cov。
coefs = model.ptr<double>(0); //GMM的每个像素的高斯模型的权值变量起始存储指针
mean = coefs + componentsCount; //均值变量起始存储指针
cov = mean + 3*componentsCount; //协方差变量起始存储指针
for( int ci = 0; ci < componentsCount; ci++ )
if( coefs[ci] > 0 )
//计算GMM中第ci个高斯模型的协方差的逆Inverse和行列式Determinant
//为了后面计算每个像素属于该高斯模型的概率(也就是数据能量项)
calcInverseCovAndDeterm( ci );
}
//计算一个像素(由color=(B,G,R)三维double型向量来表示)属于这个GMM混合高斯模型的概率。
//也就是把这个像素像素属于componentsCount个高斯模型的概率与对应的权值相乘再相加,
//具体见论文的公式(10)。结果从res返回。
//这个相当于计算Gibbs能量的第一个能量项(取负后)。
double GMM::operator()( const Vec3d color ) const
{
double res = 0;
for( int ci = 0; ci < componentsCount; ci++ )
res += coefs[ci] * (*this)(ci, color );
return res;
}
//计算一个像素(由color=(B,G,R)三维double型向量来表示)属于第ci个高斯模型的概率。
//具体过程,即高阶的高斯密度模型计算式,具体见论文的公式(10)。结果从res返回
double GMM::operator()( int ci, const Vec3d color ) const
{
double res = 0;
if( coefs[ci] > 0 )
{
CV_Assert( covDeterms[ci] > std::numeric_limits<double>::epsilon() );
Vec3d diff = color;
double* m = mean + 3*ci;
diff[0] -= m[0]; diff[1] -= m[1]; diff[2] -= m[2];
double mult = diff[0]*(diff[0]*inverseCovs[ci][0][0] + diff[1]*inverseCovs[ci][1][0] + diff[2]*inverseCovs[ci][2][0])
+ diff[1]*(diff[0]*inverseCovs[ci][0][1] + diff[1]*inverseCovs[ci][1][1] + diff[2]*inverseCovs[ci][2][1])
+ diff[2]*(diff[0]*inverseCovs[ci][0][2] + diff[1]*inverseCovs[ci][1][2] + diff[2]*inverseCovs[ci][2][2]);
res = 1.0f/sqrt(covDeterms[ci]) * exp(-0.5f*mult);
}
return res;
}
//返回这个像素最有可能属于GMM中的哪个高斯模型(概率最大的那个)
int GMM::whichComponent( const Vec3d color ) const
{
int k = 0;
double max = 0;
for( int ci = 0; ci < componentsCount; ci++ )
{
double p = (*this)( ci, color );
if( p > max )
{
k = ci; //找到概率最大的那个,或者说计算结果最大的那个
max = p;
}
}
return k;
}
//GMM参数学习前的初始化,主要是对要求和的变量置零
void GMM::initLearning()
{
for( int ci = 0; ci < componentsCount; ci++)
{
sums[ci][0] = sums[ci][1] = sums[ci][2] = 0;
prods[ci][0][0] = prods[ci][0][1] = prods[ci][0][2] = 0;
prods[ci][1][0] = prods[ci][1][1] = prods[ci][1][2] = 0;
prods[ci][2][0] = prods[ci][2][1] = prods[ci][2][2] = 0;
sampleCounts[ci] = 0;
}
totalSampleCount = 0;
}
//增加样本,即为前景或者背景GMM的第ci个高斯模型的像素集(这个像素集是来用估
//计计算这个高斯模型的参数的)增加样本像素。计算加入color这个像素后,像素集
//中所有像素的RGB三个通道的和sums(用来计算均值),还有它的prods(用来计算协方差),
//并且记录这个像素集的像素个数和总的像素个数(用来计算这个高斯模型的权值)。
void GMM::addSample( int ci, const Vec3d color )
{
sums[ci][0] += color[0]; sums[ci][1] += color[1]; sums[ci][2] += color[2];
prods[ci][0][0] += color[0]*color[0]; prods[ci][0][1] += color[0]*color[1]; prods[ci][0][2] += color[0]*color[2];
prods[ci][1][0] += color[1]*color[0]; prods[ci][1][1] += color[1]*color[1]; prods[ci][1][2] += color[1]*color[2];
prods[ci][2][0] += color[2]*color[0]; prods[ci][2][1] += color[2]*color[1]; prods[ci][2][2] += color[2]*color[2];
sampleCounts[ci]++;
totalSampleCount++;
}
//从图像数据中学习GMM的参数:每一个高斯分量的权值、均值和协方差矩阵;
//这里相当于论文中“Iterative minimisation”的step 2
void GMM::endLearning()
{
const double variance = 0.01;
for( int ci = 0; ci < componentsCount; ci++ )
{
int n = sampleCounts[ci]; //第ci个高斯模型的样本像素个数
if( n == 0 )
coefs[ci] = 0;
else
{
//计算第ci个高斯模型的权值系数
coefs[ci] = (double)n/totalSampleCount;
//计算第ci个高斯模型的均值
double* m = mean + 3*ci;
m[0] = sums[ci][0]/n; m[1] = sums[ci][1]/n; m[2] = sums[ci][2]/n;
//计算第ci个高斯模型的协方差
double* c = cov + 9*ci;
c[0] = prods[ci][0][0]/n - m[0]*m[0]; c[1] = prods[ci][0][1]/n - m[0]*m[1]; c[2] = prods[ci][0][2]/n - m[0]*m[2];
c[3] = prods[ci][1][0]/n - m[1]*m[0]; c[4] = prods[ci][1][1]/n - m[1]*m[1]; c[5] = prods[ci][1][2]/n - m[1]*m[2];
c[6] = prods[ci][2][0]/n - m[2]*m[0]; c[7] = prods[ci][2][1]/n - m[2]*m[1]; c[8] = prods[ci][2][2]/n - m[2]*m[2];
//计算第ci个高斯模型的协方差的行列式
double dtrm = c[0]*(c[4]*c[8]-c[5]*c[7]) - c[1]*(c[3]*c[8]-c[5]*c[6]) + c[2]*(c[3]*c[7]-c[4]*c[6]);
if( dtrm <= std::numeric_limits<double>::epsilon() )
{
//相当于如果行列式小于等于0,(对角线元素)增加白噪声,避免其变
//为退化(降秩)协方差矩阵(不存在逆矩阵,但后面的计算需要计算逆矩阵)。
// Adds the white noise to avoid singular covariance matrix.
c[0] += variance;
c[4] += variance;
c[8] += variance;
}
//计算第ci个高斯模型的协方差的逆Inverse和行列式Determinant
calcInverseCovAndDeterm(ci);
}
}
}
//计算协方差的逆Inverse和行列式Determinant
void GMM::calcInverseCovAndDeterm( int ci )
{
if( coefs[ci] > 0 )
{
//取第ci个高斯模型的协方差的起始指针
double *c = cov + 9*ci;
double dtrm =
covDeterms[ci] = c[0]*(c[4]*c[8]-c[5]*c[7]) - c[1]*(c[3]*c[8]-c[5]*c[6])
+ c[2]*(c[3]*c[7]-c[4]*c[6]);
//在C++中,每一种内置的数据类型都拥有不同的属性, 使用<limits>库可以获
//得这些基本数据类型的数值属性。因为浮点算法的截断,所以使得,当a=2,
//b=3时 10*a/b == 20/b不成立。那怎么办呢?
//这个小正数(epsilon)常量就来了,小正数通常为可用给定数据类型的
//大于1的最小值与1之差来表示。若dtrm结果不大于小正数,那么它几乎为零。
//所以下式保证dtrm>0,即行列式的计算正确(协方差对称正定,故行列式大于0)。
CV_Assert( dtrm > std::numeric_limits<double>::epsilon() );
//三阶方阵的求逆
inverseCovs[ci][0][0] = (c[4]*c[8] - c[5]*c[7]) / dtrm;
inverseCovs[ci][1][0] = -(c[3]*c[8] - c[5]*c[6]) / dtrm;
inverseCovs[ci][2][0] = (c[3]*c[7] - c[4]*c[6]) / dtrm;
inverseCovs[ci][0][1] = -(c[1]*c[8] - c[2]*c[7]) / dtrm;
inverseCovs[ci][1][1] = (c[0]*c[8] - c[2]*c[6]) / dtrm;
inverseCovs[ci][2][1] = -(c[0]*c[7] - c[1]*c[6]) / dtrm;
inverseCovs[ci][0][2] = (c[1]*c[5] - c[2]*c[4]) / dtrm;
inverseCovs[ci][1][2] = -(c[0]*c[5] - c[2]*c[3]) / dtrm;
inverseCovs[ci][2][2] = (c[0]*c[4] - c[1]*c[3]) / dtrm;
}
}
//计算beta,也就是Gibbs能量项中的第二项(平滑项)中的指数项的beta,用来调整
//高或者低对比度时,两个邻域像素的差别的影响的,例如在低对比度时,两个邻域
//像素的差别可能就会比较小,这时候需要乘以一个较大的beta来放大这个差别,
//在高对比度时,则需要缩小本身就比较大的差别。
//所以我们需要分析整幅图像的对比度来确定参数beta,具体的见论文公式(5)。
/*
Calculate beta - parameter of GrabCut algorithm.
beta = 1/(2*avg(sqr(||color[i] - color[j]||)))
*/
static double calcBeta( const Mat& img )
{
double beta = 0;
for( int y = 0; y < img.rows; y++ )
{
for( int x = 0; x < img.cols; x++ )
{
//计算四个方向邻域两像素的差别,也就是欧式距离或者说二阶范数
//(当所有像素都算完后,就相当于计算八邻域的像素差了)
Vec3d color = img.at<Vec3b>(y,x);
if( x>0 ) // left >0的判断是为了避免在图像边界的时候还计算,导致越界
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y,x-1);
beta += diff.dot(diff); //矩阵的点乘,也就是各个元素平方的和
}
if( y>0 && x>0 ) // upleft
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x-1);
beta += diff.dot(diff);
}
if( y>0 ) // up
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x);
beta += diff.dot(diff);
}
if( y>0 && x<img.cols-1) // upright
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x+1);
beta += diff.dot(diff);
}
}
}
if( beta <= std::numeric_limits<double>::epsilon() )
beta = 0;
else
beta = 1.f / (2 * beta/(4*img.cols*img.rows - 3*img.cols - 3*img.rows + 2) ); //论文公式(5)
return beta;
}
//计算图每个非端点顶点(也就是每个像素作为图的一个顶点,不包括源点s和汇点t)与邻域顶点
//的边的权值。由于是无向图,我们计算的是八邻域,那么对于一个顶点,我们计算四个方向就行,
//在其他的顶点计算的时候,会把剩余那四个方向的权值计算出来。这样整个图算完后,每个顶点
//与八邻域的顶点的边的权值就都计算出来了。
//这个相当于计算Gibbs能量的第二个能量项(平滑项),具体见论文中公式(4)
/*
Calculate weights of noterminal vertices of graph.
beta and gamma - parameters of GrabCut algorithm.
*/
static void calcNWeights( const Mat& img, Mat& leftW, Mat& upleftW, Mat& upW,
Mat& uprightW, double beta, double gamma )
{
//gammaDivSqrt2相当于公式(4)中的gamma * dis(i,j)^(-1),那么可以知道,
//当i和j是垂直或者水平关系时,dis(i,j)=1,当是对角关系时,dis(i,j)=sqrt(2.0f)。
//具体计算时,看下面就明白了
const double gammaDivSqrt2 = gamma / std::sqrt(2.0f);
//每个方向的边的权值通过一个和图大小相等的Mat来保存
leftW.create( img.rows, img.cols, CV_64FC1 );
upleftW.create( img.rows, img.cols, CV_64FC1 );
upW.create( img.rows, img.cols, CV_64FC1 );
uprightW.create( img.rows, img.cols, CV_64FC1 );
for( int y = 0; y < img.rows; y++ )
{
for( int x = 0; x < img.cols; x++ )
{
Vec3d color = img.at<Vec3b>(y,x);
if( x-1>=0 ) // left //避免图的边界
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y,x-1);
leftW.at<double>(y,x) = gamma * exp(-beta*diff.dot(diff));
}
else
leftW.at<double>(y,x) = 0;
if( x-1>=0 && y-1>=0 ) // upleft
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x-1);
upleftW.at<double>(y,x) = gammaDivSqrt2 * exp(-beta*diff.dot(diff));
}
else
upleftW.at<double>(y,x) = 0;
if( y-1>=0 ) // up
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x);
upW.at<double>(y,x) = gamma * exp(-beta*diff.dot(diff));
}
else
upW.at<double>(y,x) = 0;
if( x+1<img.cols && y-1>=0 ) // upright
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x+1);
uprightW.at<double>(y,x) = gammaDivSqrt2 * exp(-beta*diff.dot(diff));
}
else
uprightW.at<double>(y,x) = 0;
}
}
}
//检查mask的正确性。mask为通过用户交互或者程序设定的,它是和图像大小一样的单通道灰度图,
//每个像素只能取GC_BGD or GC_FGD or GC_PR_BGD or GC_PR_FGD 四种枚举值,分别表示该像素
//(用户或者程序指定)属于背景、前景、可能为背景或者可能为前景像素。具体的参考:
//ICCV2001“Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”
//Yuri Y. Boykov Marie-Pierre Jolly
/*
Check size, type and element values of mask matrix.
*/
static void checkMask( const Mat& img, const Mat& mask )
{
if( mask.empty() )
CV_Error( CV_StsBadArg, "mask is empty" );
if( mask.type() != CV_8UC1 )
CV_Error( CV_StsBadArg, "mask must have CV_8UC1 type" );
if( mask.cols != img.cols || mask.rows != img.rows )
CV_Error( CV_StsBadArg, "mask must have as many rows and cols as img" );
for( int y = 0; y < mask.rows; y++ )
{
for( int x = 0; x < mask.cols; x++ )
{
uchar val = mask.at<uchar>(y,x);
if( val!=GC_BGD && val!=GC_FGD && val!=GC_PR_BGD && val!=GC_PR_FGD )
CV_Error( CV_StsBadArg, "mask element value must be equel"
"GC_BGD or GC_FGD or GC_PR_BGD or GC_PR_FGD" );
}
}
}
//通过用户框选目标rect来创建mask,rect外的全部作为背景,设置为GC_BGD,
//rect内的设置为 GC_PR_FGD(可能为前景)
/*
Initialize mask using rectangular.
*/
static void initMaskWithRect( Mat& mask, Size imgSize, Rect rect )
{
mask.create( imgSize, CV_8UC1 );
mask.setTo( GC_BGD );
rect.x = max(0, rect.x);
rect.y = max(0, rect.y);
rect.width = min(rect.width, imgSize.width-rect.x);
rect.height = min(rect.height, imgSize.height-rect.y);
(mask(rect)).setTo( Scalar(GC_PR_FGD) );
}
//通过k-means算法来初始化背景GMM和前景GMM模型
/*
Initialize GMM background and foreground models using kmeans algorithm.
*/
static void initGMMs( const Mat& img, const Mat& mask, GMM& bgdGMM, GMM& fgdGMM )
{
const int kMeansItCount = 10; //迭代次数
const int kMeansType = KMEANS_PP_CENTERS; //Use kmeans++ center initialization by Arthur and Vassilvitskii
Mat bgdLabels, fgdLabels; //记录背景和前景的像素样本集中每个像素对应GMM的哪个高斯模型,论文中的kn
vector<Vec3f> bgdSamples, fgdSamples; //背景和前景的像素样本集
Point p;
for( p.y = 0; p.y < img.rows; p.y++ )
{
for( p.x = 0; p.x < img.cols; p.x++ )
{
//mask中标记为GC_BGD和GC_PR_BGD的像素都作为背景的样本像素
if( mask.at<uchar>(p) == GC_BGD || mask.at<uchar>(p) == GC_PR_BGD )
bgdSamples.push_back( (Vec3f)img.at<Vec3b>(p) );
else // GC_FGD | GC_PR_FGD
fgdSamples.push_back( (Vec3f)img.at<Vec3b>(p) );
}
}
CV_Assert( !bgdSamples.empty() && !fgdSamples.empty() );
//kmeans中参数_bgdSamples为:每行一个样本
//kmeans的输出为bgdLabels,里面保存的是输入样本集中每一个样本对应的类标签(样本聚为componentsCount类后)
Mat _bgdSamples( (int)bgdSamples.size(), 3, CV_32FC1, &bgdSamples[0][0] );
kmeans( _bgdSamples, GMM::componentsCount, bgdLabels,
TermCriteria( CV_TERMCRIT_ITER, kMeansItCount, 0.0), 0, kMeansType );
Mat _fgdSamples( (int)fgdSamples.size(), 3, CV_32FC1, &fgdSamples[0][0] );
kmeans( _fgdSamples, GMM::componentsCount, fgdLabels,
TermCriteria( CV_TERMCRIT_ITER, kMeansItCount, 0.0), 0, kMeansType );
//经过上面的步骤后,每个像素所属的高斯模型就确定的了,那么就可以估计GMM中每个高斯模型的参数了。
bgdGMM.initLearning();
for( int i = 0; i < (int)bgdSamples.size(); i++ )
bgdGMM.addSample( bgdLabels.at<int>(i,0), bgdSamples[i] );
bgdGMM.endLearning();
fgdGMM.initLearning();
for( int i = 0; i < (int)fgdSamples.size(); i++ )
fgdGMM.addSample( fgdLabels.at<int>(i,0), fgdSamples[i] );
fgdGMM.endLearning();
}
//论文中:迭代最小化算法step 1:为每个像素分配GMM中所属的高斯模型,kn保存在Mat compIdxs中
/*
Assign GMMs components for each pixel.
*/
static void assignGMMsComponents( const Mat& img, const Mat& mask, const GMM& bgdGMM,
const GMM& fgdGMM, Mat& compIdxs )
{
Point p;
for( p.y = 0; p.y < img.rows; p.y++ )
{
for( p.x = 0; p.x < img.cols; p.x++ )
{
Vec3d color = img.at<Vec3b>(p);
//通过mask来判断该像素属于背景像素还是前景像素,再判断它属于前景或者背景GMM中的哪个高斯分量
compIdxs.at<int>(p) = mask.at<uchar>(p) == GC_BGD || mask.at<uchar>(p) == GC_PR_BGD ?
bgdGMM.whichComponent(color) : fgdGMM.whichComponent(color);
}
}
}
//论文中:迭代最小化算法step 2:从每个高斯模型的像素样本集中学习每个高斯模型的参数
/*
Learn GMMs parameters.
*/
static void learnGMMs( const Mat& img, const Mat& mask, const Mat& compIdxs, GMM& bgdGMM, GMM& fgdGMM )
{
bgdGMM.initLearning();
fgdGMM.initLearning();
Point p;
for( int ci = 0; ci < GMM::componentsCount; ci++ )
{
for( p.y = 0; p.y < img.rows; p.y++ )
{
for( p.x = 0; p.x < img.cols; p.x++ )
{
if( compIdxs.at<int>(p) == ci )
{
if( mask.at<uchar>(p) == GC_BGD || mask.at<uchar>(p) == GC_PR_BGD )
bgdGMM.addSample( ci, img.at<Vec3b>(p) );
else
fgdGMM.addSample( ci, img.at<Vec3b>(p) );
}
}
}
}
bgdGMM.endLearning();
fgdGMM.endLearning();
}
//通过计算得到的能量项构建图,图的顶点为像素点,图的边由两部分构成,
//一类边是:每个顶点与Sink汇点t(代表背景)和源点Source(代表前景)连接的边,
//这类边的权值通过Gibbs能量项的第一项能量项来表示。
//另一类边是:每个顶点与其邻域顶点连接的边,这类边的权值通过Gibbs能量项的第二项能量项来表示。
/*
Construct GCGraph
*/
static void constructGCGraph( const Mat& img, const Mat& mask, const GMM& bgdGMM, const GMM& fgdGMM, double lambda,
const Mat& leftW, const Mat& upleftW, const Mat& upW, const Mat& uprightW,
GCGraph<double>& graph )
{
int vtxCount = img.cols*img.rows; //顶点数,每一个像素是一个顶点
int edgeCount = 2*(4*vtxCount - 3*(img.cols + img.rows) + 2); //边数,需要考虑图边界的边的缺失
//通过顶点数和边数创建图。这些类型声明和函数定义请参考gcgraph.hpp
graph.create(vtxCount, edgeCount);
Point p;
for( p.y = 0; p.y < img.rows; p.y++ )
{
for( p.x = 0; p.x < img.cols; p.x++)
{
// add node
int vtxIdx = graph.addVtx(); //返回这个顶点在图中的索引
Vec3b color = img.at<Vec3b>(p);
// set t-weights
//计算每个顶点与Sink汇点t(代表背景)和源点Source(代表前景)连接的权值。
//也即计算Gibbs能量(每一个像素点作为背景像素或者前景像素)的第一个能量项
double fromSource, toSink;
if( mask.at<uchar>(p) == GC_PR_BGD || mask.at<uchar>(p) == GC_PR_FGD )
{
//对每一个像素计算其作为背景像素或者前景像素的第一个能量项,作为分别与t和s点的连接权值
fromSource = -log( bgdGMM(color) );
toSink = -log( fgdGMM(color) );
}
else if( mask.at<uchar>(p) == GC_BGD )
{
//对于确定为背景的像素点,它与Source点(前景)的连接为0,与Sink点的连接为lambda
fromSource = 0;
toSink = lambda;
}
else // GC_FGD
{
fromSource = lambda;
toSink = 0;
}
//设置该顶点vtxIdx分别与Source点和Sink点的连接权值
graph.addTermWeights( vtxIdx, fromSource, toSink );
// set n-weights n-links
//计算两个邻域顶点之间连接的权值。
//也即计算Gibbs能量的第二个能量项(平滑项)
if( p.x>0 )
{
double w = leftW.at<double>(p);
graph.addEdges( vtxIdx, vtxIdx-1, w, w );
}
if( p.x>0 && p.y>0 )
{
double w = upleftW.at<double>(p);
graph.addEdges( vtxIdx, vtxIdx-img.cols-1, w, w );
}
if( p.y>0 )
{
double w = upW.at<double>(p);
graph.addEdges( vtxIdx, vtxIdx-img.cols, w, w );
}
if( p.x<img.cols-1 && p.y>0 )
{
double w = uprightW.at<double>(p);
graph.addEdges( vtxIdx, vtxIdx-img.cols+1, w, w );
}
}
}
}
//论文中:迭代最小化算法step 3:分割估计:最小割或者最大流算法
/*
Estimate segmentation using MaxFlow algorithm
*/
static void estimateSegmentation( GCGraph<double>& graph, Mat& mask )
{
//通过最大流算法确定图的最小割,也即完成图像的分割
graph.maxFlow();
Point p;
for( p.y = 0; p.y < mask.rows; p.y++ )
{
for( p.x = 0; p.x < mask.cols; p.x++ )
{
//通过图分割的结果来更新mask,即最后的图像分割结果。注意的是,永远都
//不会更新用户指定为背景或者前景的像素
if( mask.at<uchar>(p) == GC_PR_BGD || mask.at<uchar>(p) == GC_PR_FGD )
{
if( graph.inSourceSegment( p.y*mask.cols+p.x /*vertex index*/ ) )
mask.at<uchar>(p) = GC_PR_FGD;
else
mask.at<uchar>(p) = GC_PR_BGD;
}
}
}
}
//最后的成果:提供给外界使用的伟大的API:grabCut
/*
****参数说明:
img——待分割的源图像,必须是8位3通道(CV_8UC3)图像,在处理的过程中不会被修改;
mask——掩码图像,如果使用掩码进行初始化,那么mask保存初始化掩码信息;在执行分割
的时候,也可以将用户交互所设定的前景与背景保存到mask中,然后再传入grabCut函
数;在处理结束之后,mask中会保存结果。mask只能取以下四种值:
GCD_BGD(=0),背景;
GCD_FGD(=1),前景;
GCD_PR_BGD(=2),可能的背景;
GCD_PR_FGD(=3),可能的前景。
如果没有手工标记GCD_BGD或者GCD_FGD,那么结果只会有GCD_PR_BGD或GCD_PR_FGD;
rect——用于限定需要进行分割的图像范围,只有该矩形窗口内的图像部分才被处理;
bgdModel——背景模型,如果为null,函数内部会自动创建一个bgdModel;bgdModel必须是
单通道浮点型(CV_32FC1)图像,且行数只能为1,列数只能为13x5;
fgdModel——前景模型,如果为null,函数内部会自动创建一个fgdModel;fgdModel必须是
单通道浮点型(CV_32FC1)图像,且行数只能为1,列数只能为13x5;
iterCount——迭代次数,必须大于0;
mode——用于指示grabCut函数进行什么操作,可选的值有:
GC_INIT_WITH_RECT(=0),用矩形窗初始化GrabCut;
GC_INIT_WITH_MASK(=1),用掩码图像初始化GrabCut;
GC_EVAL(=2),执行分割。
*/
void cv::grabCut( InputArray _img, InputOutputArray _mask, Rect rect,
InputOutputArray _bgdModel, InputOutputArray _fgdModel,
int iterCount, int mode )
{
Mat img = _img.getMat();
Mat& mask = _mask.getMatRef();
Mat& bgdModel = _bgdModel.getMatRef();
Mat& fgdModel = _fgdModel.getMatRef();
if( img.empty() )
CV_Error( CV_StsBadArg, "image is empty" );
if( img.type() != CV_8UC3 )
CV_Error( CV_StsBadArg, "image mush have CV_8UC3 type" );
GMM bgdGMM( bgdModel ), fgdGMM( fgdModel );
Mat compIdxs( img.size(), CV_32SC1 );
if( mode == GC_INIT_WITH_RECT || mode == GC_INIT_WITH_MASK )
{
if( mode == GC_INIT_WITH_RECT )
initMaskWithRect( mask, img.size(), rect );
else // flag == GC_INIT_WITH_MASK
checkMask( img, mask );
initGMMs( img, mask, bgdGMM, fgdGMM );
}
if( iterCount <= 0)
return;
if( mode == GC_EVAL )
checkMask( img, mask );
const double gamma = 50;
const double lambda = 9*gamma;
const double beta = calcBeta( img );
Mat leftW, upleftW, upW, uprightW;
calcNWeights( img, leftW, upleftW, upW, uprightW, beta, gamma );
for( int i = 0; i < iterCount; i++ )
{
GCGraph<double> graph;
assignGMMsComponents( img, mask, bgdGMM, fgdGMM, compIdxs );
learnGMMs( img, mask, compIdxs, bgdGMM, fgdGMM );
constructGCGraph(img, mask, bgdGMM, fgdGMM, lambda, leftW, upleftW, upW, uprightW, graph );
estimateSegmentation( graph, mask );
}
}
其中 gcgraph.hpp 转自 http://blog.csdn.net/wstcegg/article/details/39495535,先存着还没有看。
#ifndef _CV_GCGRAPH_H_
#define _CV_GCGRAPH_H_
template <class TWeight> class GCGraph
{
public:
GCGraph();
GCGraph( unsigned int vtxCount, unsigned int edgeCount );
~GCGraph();
void create( unsigned int vtxCount, unsigned int edgeCount );
int addVtx();
void addEdges( int i, int j, TWeight w, TWeight revw );
void addTermWeights( int i, TWeight sourceW, TWeight sinkW );
TWeight maxFlow();
bool inSourceSegment( int i );
private:
class Vtx //结点类型
{
public:
Vtx *next; //在maxflow算法中用于构建先进-先出队列
int parent; //父节点发出的弧
int first; //首个相邻弧
int ts; //time-stamp时间戳
int dist; //distance,到树根的距离
TWeight weight; //t-value, 即到终端结点的权值
uchar t; //取值只能是0-1,s->t方向为0, t->s方向为1
};
class Edge //边类型
{
public:
int dst; //弧指向的顶点
int next; //同一个原点的下一条弧
TWeight weight; //n-value, 弧的权值
};
std::vector<Vtx> vtcs; //结点集合
std::vector<Edge> edges; //弧集合
TWeight flow; //图的流量
};
template <class TWeight>
GCGraph<TWeight>::GCGraph()
{
flow = 0; //流量初始化为0
}
GCGraph<TWeight>::GCGraph( unsigned int vtxCount, unsigned int edgeCount )
{
//构造函数并没有实质性的内容,而是把工作交给了create函数
//大家一起想想是为啥~
create( vtxCount, edgeCount );
}
template <class TWeight>
GCGraph<TWeight>::~GCGraph()
{
}
template <class TWeight>
void GCGraph<TWeight>::create( unsigned int vtxCount, unsigned int edgeCount )
{
//原来creeate也没啥东西啊
//为了提高内存分配效率,给两个集合预留足够空间
vtcs.reserve( vtxCount );
edges.reserve( edgeCount + 2 );
flow = 0;
}
/*
函数功能:
添加一个空结点,所有成员初始化为空
参数说明:
无
返回值:
当前结点在集合中的编号
*/
template <class TWeight>
int GCGraph<TWeight>::addVtx()
{
//添加结点
Vtx v;
//将结点申请到的内存空间全部清0(第二个参数0)
//目的:由于结点中存在成员变量为指针,指针设置为null保证安全
memset( &v, 0, sizeof(Vtx));
vtcs.push_back(v);
return (int)vtcs.size() - 1; //返回结点集合尺寸-1
}
/*
函数功能:
添加一条结点i和结点j之间的弧n-link弧(普通结点之间的弧)
参数说明:
int---i: 弧头结点编号
int---j: 弧尾结点编号
Tweight---w: 正向弧权值
Tweight---reww: 逆向弧权值
返回值:
无
*/
template <class TWeight>
void GCGraph<TWeight>::addEdges( int i, int j, TWeight w, TWeight revw )
{
// 检查结点编号有效性
CV_Assert( i>=0 && i<(int)vtcs.size() );
CV_Assert( j>=0 && j<(int)vtcs.size() );
CV_Assert( w>=0 && revw>=0 ); // 检查弧权值有效性
CV_Assert( i != j ); // 不存在指向自己的结点
if( !edges.size() )
edges.resize( 2 );
// 正向弧:fromI, 反向弧 toI
Edge fromI, toI;
//===================================================//
//以下为插入正向弧的操作
fromI.dst = j; // 正向弧指向结点j
fromI.weight = w; // 正向弧赋予权值w
//注意,为便于解释,下方一行代码与上面一行代码交换了顺序,没有任何实际影响
//每个结点所发出的全部n-link弧(4个方向)都会被连接为一个链表,
//采用头插法插入所有的弧
fromI.next = vtcs[i].first; //将正向弧指向结点i的链表首部
vtcs[i].first = (int)edges.size(); //修改结点i的第一个弧为当前正向弧
edges.push_back( fromI ); //正向弧加入弧集合
//===================================================//
//以下为插入反向弧的操作,与上相同,不作解释
toI.dst = i;
toI.weight = revw;
toI.next = vtcs[j].first;
vtcs[j].first = (int)edges.size();
edges.push_back( toI );
}
/*
函数功能:
为结点i的添加一条t-link弧(到终端结点的弧)
参数说明:
int---i: 结点编号
Tweight---sourceW: 正向弧权值
Tweight---sinkW: 逆向弧权值
*/
template <class TWeight>
void GCGraph<TWeight>::addTermWeights( int i, TWeight sourceW, TWeight sinkW )
{
CV_Assert( i>=0 && i<(int)vtcs.size() ); //结点编号有效性
TWeight dw = vtcs[i].weight;
if( dw > 0 )
sourceW += dw;
else
sinkW -= dw;
flow += (sourceW < sinkW) ? sourceW : sinkW;
vtcs[i].weight = sourceW - sinkW;
}
template <class TWeight>
{
//本函数中仅有的可能出现的负值,下面如果存在判别某值是否小于0,
//意味着判断当前结点是否为终端结点,或者孤立点
const int TERMINAL = -1, ORPHAN = -2;
//先进先出队列,保存当前活动结点,stub为哨兵结点
Vtx stub, *nilNode = &stub, *first = nilNode, *last = nilNode;
int curr_ts = 0; //当前时间戳
stub.next = nilNode; //初始化活动结点队列,首结点指向自己
Vtx *vtxPtr = &vtcs[0]; //结点指针
Edge *edgePtr = &edges[0]; //弧指针
std::vector<Vtx*> orphans; //孤立点集合
// 遍历所有的结点,初始化活动结点(active node)队列
for( int i = 0; i < (int)vtcs.size(); i++ )
{
Vtx* v = vtxPtr + i;
v->ts = 0;
if( v->weight != 0 ) //当前结点t-vaule(即流量)不为0
{
last = last->next = v; //入队,插入到队尾
v->dist = 1; //路径长度记1
v->parent = TERMINAL; //标注其双亲为终端结点
//t为uchar类型, 例如: t=(1>0), t=1
// t=(1<0), t=0
//实际效果纪录当前结点流向, 正向取0,逆向取1
v->t = v->weight < 0;
}
else
v->parent = 0; //保持不变,孤儿结点
}
first = first->next; //首结点作为哨兵使用,本身无实际意义,移动到下一节点,即第一个有效结点
last->next = nilNode; //哨兵放置到队尾了。。。,检测到哨兵说明一层查找结束
nilNode->next = 0; //哨兵后面啥都没有,清空
//很长的循环,每次都按照以下三个步骤运行:
//搜索路径->拆分为森林->树的重构
for(;;)
{
Vtx* v, *u; // v表示当前元素,u为其相邻元素
int e0 = -1, ei = 0, ej = 0;
TWeight minWeight, weight; // 路径最小割(流量), weight当前流量
uchar vt; // 流向标识符,正向为0,反向为1
//===================================================//
// 第一阶段: S 和 T 树的生长,找到一条s->t的路径
while( first != nilNode ) // 存在活动结点
{
v = first; // 取第一个元素存入v,作为当前结点
if( v->parent ) // v非孤儿点
{
vt = v->t; // 纪录v的流向
// 广度优先搜索,以此搜索当前结点所有相邻结点, 方法为:遍历所有相邻边,调出边的终点就是相邻结点
for( ei = v->first; ei != 0; ei = edgePtr[ei].next )
{
// 此路不通,跳过,通常两个相邻点都会有关联的,不过如果关联值weight过小,为防止下溢出,置0!
// 每对结点都拥有两个反向的边,ei^vt表明检测的边是与v结点同向的
if( edgePtr[ei^vt].weight == 0 )
continue;
u = vtxPtr+edgePtr[ei].dst; // 取出邻接点u
if( !u->parent ) // 无父节点,即为孤儿点,v接受u作为其子节点
{
u->t = vt; // 设置结点u与v的流向相同
u->parent = ei ^ 1; // ei的末尾取反。。。
u->ts = v->ts; // 更新时间戳,由于u的路径长度通过v计算得到,因此有效性相同
u->dist = v->dist + 1; // u深度等于v加1
if( !u->next ) // u不在队列中,入队,插入位置为队尾,
{
u->next = nilNode; // 修改下一元素指针指向哨兵
last = last->next = u; // 插入队尾
}
continue; //continue_for() [遍历邻接点]
}
if( u->t != vt ) // u和v的流向不同,u可以到达另一终点,则找到一条路径
{
e0 = ei ^ vt; //
break; //break_for() [遍历邻接点]
}
// u已经存在父节点,但是如果u的路径长度大于v+1,说明u走弯路了,修改u的路径,使其成为v的子结点
// 进入条件:u的路径长度大于v的长度+1,且u的时间戳较早
if( u->dist > v->dist+1 && u->ts <= v->ts )
{
// 从新设置u的父节点为v(编号ei),记录为当前的弧
u->parent = ei ^ 1;
u->ts = v->ts; // 更新u的时间戳与v相同
u->dist = v->dist + 1; // u为v的子结点,路径长度加1
}
}
if( e0 > 0 )
break; //break_while() [查找s->t路径]
}
// 将刚处理完的结点从活动队列移除
first = first->next;
v->next = 0;
}
if( e0 <= 0 ) //全部搜索结束,e0=0说明所有结点都已经处理完毕,e0<0说明已经搜索到了终端结点了。。
break; //break_for(;;)[max_flow]
//===================================================//
// 第二阶段: 流量统计与树的拆分
//===第一节===//
//查找路径中的最小权值
minWeight = edgePtr[e0].weight;
assert( minWeight > 0 );
// 遍历整条路径分两个方向进行,从当前结点开始,向前回溯s树,向后回溯t树
// 2次遍历, k=1: 回溯s树, k=0: 回溯t树
for( int k = 1; k >= 0; k-- )
{
//回溯的方法为:取当前结点的父节点,判断是否为终端结点
for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
{
if( (ei = v->parent) < 0 ) //回溯,ei纪录当前点的父边,回溯至终端结点,退出
break;
weight = edgePtr[ei^k].weight; //取当前弧的权值
minWeight = MIN(minWeight, weight); //纪录当前路径最小流
assert( minWeight > 0 );
}
weight = fabs(v->weight);
minWeight = MIN(minWeight, weight); //取s树和t树的最小流
assert( minWeight > 0 );
}
//===第二节===//
// 修改当前路径中的所有的weight权值
/* 注意到任何时候s和t树的结点都只有一条弧使其连接到树中,
当这条弧权值减少为0则此结点从树中断开,
若其无子结点,则成为孤立点,
若其拥有子结点,则独立为森林,但是ei的子结点还不知道他们被孤立了!
*/
edgePtr[e0].weight -= minWeight; //正向路径权值减少
edgePtr[e0^1].weight += minWeight; //反向路径权值增加
flow += minWeight; //修改当前流量
// k=1: source tree, k=0: destination tree
for( int k = 1; k >= 0; k-- )
{
for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
{
if( (ei = v->parent) < 0 ) //某一方向搜索结束,退出
break;
edgePtr[ei^(k^1)].weight += minWeight; //n-value逆向增加
//n-value正向减少,如果权值减少至0,则将ei标注为孤儿
if( (edgePtr[ei^k].weight -= minWeight) == 0 )
{
orphans.push_back(v); //加入孤儿集合
v->parent = ORPHAN; //修改父节点标记
}
}
v->weight = v->weight + minWeight*(1-k*2); //t-value修改(减少或增加)
//如果权值减少至0,则将ei标注为孤儿
if( v->weight == 0 )
{
orphans.push_back(v);
v->parent = ORPHAN;
}
}
//===================================================//
// 第三阶段: 树的重构
// 为孤儿找到新的父节点,恢复树结构
curr_ts++;
while( !orphans.empty() ) //存在孤儿
{
Vtx* v2 = orphans.back(); //取一个孤儿,记为v2
orphans.pop_back(); //删除栈顶元素,两步操作等价于出栈
int d, minDist = INT_MAX;
e0 = 0;
vt = v2->t;
// 遍历当前结点的相邻点,ei为当前弧的编号
for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
{
if( edgePtr[ei^(vt^1)].weight == 0 ) // 找到权值为0的边,无效,继续找
continue;
u = vtxPtr+edgePtr[ei].dst; // 邻接点记为u
if( u->t != vt || u->parent == 0 ) // 不同方向的边,或者找到的点也是孤立点,继续找
continue;
// 计算当前点路径长度
for( d = 0;; )
{
if( u->ts == curr_ts ) // 找到时间戳符合的结点,即此结点路径长度有效
{
d += u->dist; // 最终路径长度等于到u结点的距离加u结点的路径长度
break;
}
ej = u->parent; // 继续寻找u的父节点
d++; // 距有效点距离加1
if( ej < 0 ) // TERMINAL = -1, ORPHAN = -2
{
if( ej == ORPHAN ) // 找到的父节点是孤立点
d = INT_MAX-1; // 纪录d无穷大,即无法到达终端结点
else // 找到的是终端结点
{
u->ts = curr_ts; // 更改时间戳为当前时刻,本次大循环中其路径长度是有效的!
u->dist = 1; // 路径长度为1
}
break;
}
u = vtxPtr+edgePtr[ej].dst; // u指向父节点,继续回溯
}
// 更新子结点的路径长度
if( ++d < INT_MAX ) // 当前结点找到了父节点
{
if( d < minDist ) //
{
minDist = d; // 更新minDist
e0 = ei; // e0记录找到的v2父弧
}
//
for( u = vtxPtr+edgePtr[ei].dst; u->ts != curr_ts; u = vtxPtr+edgePtr[u->parent].dst )
{
u->ts = curr_ts;
u->dist = --d;
}
}
}//end_for
if( (v2->parent = e0) > 0 )
{
v2->ts = curr_ts; //v2时间戳为当前时刻,本次大循环中其路径长度是有效的!
v2->dist = minDist;
continue;
}
// 未找到父节点,将此结点和其所有子节点置为孤儿
v2->ts = 0; // v2为当前结点,时间戳置0
for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
{
u = vtxPtr+edgePtr[ei].dst; // 邻接点
ej = u->parent; // 邻接点的父节点
if( u->t != vt || !ej ) // 邻接点无父节点或与本结点不同向?
continue;
if( edgePtr[ei^(vt^1)].weight && !u->next ) //u和v反向,则加入活动队列 (vt^1表示对vt取反)
{
u->next = nilNode;
last = last->next = u;
}
if( ej > 0 && vtxPtr+edgePtr[ej].dst == v2 ) //当前节点确实是v2的子节点
{
orphans.push_back(u); //加入孤立点队列
u->parent = ORPHAN; //标记其无父节点
}
}
}//end_while
}//end_for(;;)
return flow; //返回最大流量
}
template <class TWeight>
bool GCGraph<TWeight>::inSourceSegment( int i )
{
CV_Assert( i>=0 && i<(int)vtcs.size() );
return vtcs[i].t == 0;
}
#endif