Grab Cut 源码解读(最大流-最小割, min-cut\max-flow)

最新推荐文章于 2023-11-26 23:14:30 发布

wstcegg

最新推荐文章于 2023-11-26 23:14:30 发布

阅读量4.5k

点赞数 4

文章标签： grab cut 图像分割 image mattingsegment max flow min cut

本文链接：https://blog.csdn.net/wstcegg/article/details/39495535

版权

最近在学习grab cut算法，发现需要学习的内容挺多，其中主要内容有min-cut\max-flow、高斯混合模型GMM和基于能量优化的算法。因为平时用opencv比较多，所以抽空仔细阅读了一下grab cut的源码，确实比较难懂。

首先，opencv的源码几乎没有注释，洋洋洒洒500+的代码注释也就10行左右，感觉略坑，不像大神们的风格啊。

其次，核心函数也太长了点，max-flow算法主函数居然有230行之多。

第三，用到的变量相当多，有不下30个。变量命名也不够人性化，各种t, e0, ei都被当做变量名使用，让人无力吐槽。

第四，改进型的max-flow本身也比较繁琐

第五，.................

因此，全部看完花了估计有4-5天的时间，而且是在大神zouxy09的博文指导下看的。如果完全自己搞，估计俩星期都看不懂。http://blog.csdn.net/zouxy09/article/details/8535087是zouxy09对于grab cut系列源码算法解读的链接，原文只介绍了grabcut.cpp, 包括高斯混合模型和max-flow/min-cut图的构建，没有解读gcgraph.hpp。所以我就只给出gcgraph.hpp代码的分析。

我会在最近几天更新本博客，毕竟导师那儿还有安排的工作要做呢。

敬请期待！

代码解释以注释的形式展示，因为时间比较紧张，可能还有很多地方没解释清楚，有空再完善，欢迎大家讨论！


#ifndef _CV_GCGRAPH_H_
#define _CV_GCGRAPH_H_

template <class TWeight> class GCGraph
{
public:
    GCGraph();
    GCGraph( unsigned int vtxCount, unsigned int edgeCount );
    ~GCGraph();
    void create( unsigned int vtxCount, unsigned int edgeCount );
    int addVtx();
    void addEdges( int i, int j, TWeight w, TWeight revw );
    void addTermWeights( int i, TWeight sourceW, TWeight sinkW );
    TWeight maxFlow();
    bool inSourceSegment( int i );
private:
    class Vtx //结点类型
    {
    public:
        Vtx *next;  //在maxflow算法中用于构建先进-先出队列
        int parent; //父节点发出的弧
        int first;  //首个相邻弧
        int ts;     //time-stamp时间戳
        int dist;   //distance,到树根的距离
        TWeight weight; //t-value, 即到终端结点的权值
        uchar t;    //取值只能是0-1，s->t方向为0， t->s方向为1
    };
    class Edge //边类型
    {
    public:
        int dst;    //弧指向的顶点
        int next;   //同一个原点的下一条弧
        TWeight weight; //n-value, 弧的权值
    };

    std::vector<Vtx> vtcs;  //结点集合
    std::vector<Edge> edges;    //弧集合
    TWeight flow;   //图的流量
};

template <class TWeight>
GCGraph<TWeight>::GCGraph()
{
    flow = 0;   //流量初始化为0
}
GCGraph<TWeight>::GCGraph( unsigned int vtxCount, unsigned int edgeCount )
{   
    //构造函数并没有实质性的内容，而是把工作交给了create函数
    //大家一起想想是为啥~
    create( vtxCount, edgeCount );
}
template <class TWeight>
GCGraph<TWeight>::~GCGraph()
{
}
template <class TWeight>
void GCGraph<TWeight>::create( unsigned int vtxCount, unsigned int edgeCount )
{
    //原来creeate也没啥东西啊
    //为了提高内存分配效率，给两个集合预留足够空间
    vtcs.reserve( vtxCount );
    edges.reserve( edgeCount + 2 );
    flow = 0;
}

/*
    函数功能：
        添加一个空结点，所有成员初始化为空
    参数说明：
        无
    返回值：
        当前结点在集合中的编号
*/
template <class TWeight>
int GCGraph<TWeight>::addVtx()
{
    //添加结点
    Vtx v;

    //将结点申请到的内存空间全部清0(第二个参数0)
    //目的：由于结点中存在成员变量为指针，指针设置为null保证安全
    memset( &v, 0, sizeof(Vtx));    
    vtcs.push_back(v);

    return (int)vtcs.size() - 1;   //返回结点集合尺寸-1    
}


/*
    函数功能：
        添加一条结点i和结点j之间的弧n-link弧(普通结点之间的弧)
    参数说明：
        int---i: 弧头结点编号
        int---j: 弧尾结点编号
        Tweight---w: 正向弧权值
        Tweight---reww: 逆向弧权值
    返回值：
        无

*/
template <class TWeight>
void GCGraph<TWeight>::addEdges( int i, int j, TWeight w, TWeight revw )
{
    // 检查结点编号有效性
    CV_Assert( i>=0 && i<(int)vtcs.size() );    
    CV_Assert( j>=0 && j<(int)vtcs.size() );
    
    CV_Assert( w>=0 && revw>=0 );   // 检查弧权值有效性
    CV_Assert( i != j );    // 不存在指向自己的结点

    if( !edges.size() )
        edges.resize( 2 );

    // 正向弧：fromI, 反向弧 toI
    Edge fromI, toI;

    //===================================================//
    //以下为插入正向弧的操作
    fromI.dst = j;      // 正向弧指向结点j
    fromI.weight = w;   // 正向弧赋予权值w

    //注意，为便于解释，下方一行代码与上面一行代码交换了顺序，没有任何实际影响
    //每个结点所发出的全部n-link弧(4个方向)都会被连接为一个链表，
    //采用头插法插入所有的弧
    fromI.next = vtcs[i].first;         //将正向弧指向结点i的链表首部     
    vtcs[i].first = (int)edges.size();  //修改结点i的第一个弧为当前正向弧

    edges.push_back( fromI );           //正向弧加入弧集合

    //===================================================//
    //以下为插入反向弧的操作，与上相同，不作解释
    toI.dst = i;
    toI.weight = revw;
    toI.next = vtcs[j].first;
    vtcs[j].first = (int)edges.size();
    edges.push_back( toI );
}

/*
    函数功能：
        为结点i的添加一条t-link弧(到终端结点的弧)
    参数说明：
        int---i: 结点编号
        Tweight---sourceW: 正向弧权值
        Tweight---sinkW: 逆向弧权值
*/
template <class TWeight>
void GCGraph<TWeight>::addTermWeights( int i, TWeight sourceW, TWeight sinkW )
{
    CV_Assert( i>=0 && i<(int)vtcs.size() );    //结点编号有效性

    TWeight dw = vtcs[i].weight;    
    if( dw > 0 )
        sourceW += dw;
    else
        sinkW -= dw;
    flow += (sourceW < sinkW) ? sourceW : sinkW;
    vtcs[i].weight = sourceW - sinkW;
}

template <class TWeight>
 {
    //本函数中仅有的可能出现的负值,下面如果存在判别某值是否小于0，
    //意味着判断当前结点是否为终端结点，或者孤立点
    const int TERMINAL = -1, ORPHAN = -2;   

    //先进先出队列，保存当前活动结点，stub为哨兵结点
    Vtx stub, *nilNode = &stub, *first = nilNode, *last = nilNode;

    int curr_ts = 0;        //当前时间戳
    stub.next = nilNode;    //初始化活动结点队列，首结点指向自己

    Vtx *vtxPtr = &vtcs[0];     //结点指针
    Edge *edgePtr = &edges[0];  //弧指针

    std::vector<Vtx*> orphans;  //孤立点集合

    // 遍历所有的结点，初始化活动结点(active node)队列
    for( int i = 0; i < (int)vtcs.size(); i++ )
    {
        Vtx* v = vtxPtr + i;
        v->ts = 0;
        if( v->weight != 0 ) //当前结点t-vaule(即流量)不为0
        {
            last = last->next = v;      //入队，插入到队尾
            v->dist = 1;                //路径长度记1
            v->parent = TERMINAL;   //标注其双亲为终端结点

            //t为uchar类型, 例如： t=(1>0), t=1
            //                     t=(1<0), t=0
            //实际效果纪录当前结点流向, 正向取0,逆向取1
            v->t = v->weight < 0;      
        }
        else
            v->parent = 0; //保持不变，孤儿结点
    }

    first = first->next; //首结点作为哨兵使用，本身无实际意义，移动到下一节点，即第一个有效结点
    last->next = nilNode; //哨兵放置到队尾了。。。，检测到哨兵说明一层查找结束
    nilNode->next = 0; //哨兵后面啥都没有，清空

    //很长的循环，每次都按照以下三个步骤运行：
    //搜索路径->拆分为森林->树的重构
    for(;;)
    {
        Vtx* v, *u;     // v表示当前元素，u为其相邻元素
        int e0 = -1, ei = 0, ej = 0;
        TWeight minWeight, weight;      // 路径最小割(流量)， weight当前流量
        uchar vt;                       // 流向标识符，正向为0，反向为1

        //===================================================//
        // 第一阶段: S 和 T 树的生长，找到一条s->t的路径

        while( first != nilNode ) // 存在活动结点
        {
            v = first;          // 取第一个元素存入v，作为当前结点
            if( v->parent )     // v非孤儿点
            {
                vt = v->t;      // 纪录v的流向
                // 广度优先搜索，以此搜索当前结点所有相邻结点， 方法为：遍历所有相邻边，调出边的终点就是相邻结点
                for( ei = v->first; ei != 0; ei = edgePtr[ei].next ) 
                {
                    // 此路不通,跳过，通常两个相邻点都会有关联的，不过如果关联值weight过小，为防止下溢出，置0！
                    // 每对结点都拥有两个反向的边，ei^vt表明检测的边是与v结点同向的
                    if( edgePtr[ei^vt].weight == 0 ) 
                        continue;
                    u = vtxPtr+edgePtr[ei].dst;     // 取出邻接点u
                    if( !u->parent ) // 无父节点，即为孤儿点，v接受u作为其子节点
                    {
                        u->t = vt;          // 设置结点u与v的流向相同
                        u->parent = ei ^ 1; // ei的末尾取反。。。
                        u->ts = v->ts;      // 更新时间戳，由于u的路径长度通过v计算得到，因此有效性相同
                        u->dist = v->dist + 1;  // u深度等于v加1
                        if( !u->next )       // u不在队列中，入队，插入位置为队尾，
                        {
                            u->next = nilNode;   // 修改下一元素指针指向哨兵
                            last = last->next = u; // 插入队尾
                        }
                        continue;   //continue_for() [遍历邻接点]
                    }

                    if( u->t != vt )    // u和v的流向不同，u可以到达另一终点，则找到一条路径
                    {
                        e0 = ei ^ vt;   //
                        break;  //break_for() [遍历邻接点]
                    }

                    // u已经存在父节点，但是如果u的路径长度大于v+1，说明u走弯路了，修改u的路径，使其成为v的子结点
                    // 进入条件：u的路径长度大于v的长度+1，且u的时间戳较早
                    if( u->dist > v->dist+1 && u->ts <= v->ts )   
                    {
                        // 从新设置u的父节点为v(编号ei)，记录为当前的弧
                        u->parent = ei ^ 1;
                        u->ts = v->ts;          // 更新u的时间戳与v相同
                        u->dist = v->dist + 1;  // u为v的子结点，路径长度加1
                    }
                }
                if( e0 > 0 )
                    break;  //break_while() [查找s->t路径]
            }
            // 将刚处理完的结点从活动队列移除
            first = first->next;
            v->next = 0;
        }

        if( e0 <= 0 )   //全部搜索结束，e0=0说明所有结点都已经处理完毕，e0<0说明已经搜索到了终端结点了。。
            break;  //break_for(;;)[max_flow]

        //===================================================//
        // 第二阶段: 流量统计与树的拆分

        //===第一节===//
        //查找路径中的最小权值
        minWeight = edgePtr[e0].weight;
        assert( minWeight > 0 );

        // 遍历整条路径分两个方向进行，从当前结点开始，向前回溯s树，向后回溯t树
        // 2次遍历， k=1: 回溯s树， k=0: 回溯t树
        for( int k = 1; k >= 0; k-- )
        {
            //回溯的方法为：取当前结点的父节点，判断是否为终端结点
            for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
            {
                if( (ei = v->parent) < 0 )   //回溯，ei纪录当前点的父边，回溯至终端结点，退出
                    break;
                weight = edgePtr[ei^k].weight;       //取当前弧的权值
                minWeight = MIN(minWeight, weight);  //纪录当前路径最小流
                assert( minWeight > 0 );
            }
            weight = fabs(v->weight);
            minWeight = MIN(minWeight, weight);     //取s树和t树的最小流
            assert( minWeight > 0 );
        }

        //===第二节===//
        // 修改当前路径中的所有的weight权值
        /* 注意到任何时候s和t树的结点都只有一条弧使其连接到树中，
           当这条弧权值减少为0则此结点从树中断开，
           若其无子结点，则成为孤立点，
           若其拥有子结点，则独立为森林，但是ei的子结点还不知道他们被孤立了！
        */
        edgePtr[e0].weight -= minWeight;    //正向路径权值减少
        edgePtr[e0^1].weight += minWeight;  //反向路径权值增加
        flow += minWeight;      //修改当前流量

        // k=1: source tree, k=0: destination tree
        for( int k = 1; k >= 0; k-- )
        {
            for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
            {
                if( (ei = v->parent) < 0 )  //某一方向搜索结束，退出
                    break;
                edgePtr[ei^(k^1)].weight += minWeight;  //n-value逆向增加
                //n-value正向减少，如果权值减少至0，则将ei标注为孤儿
                if( (edgePtr[ei^k].weight -= minWeight) == 0 )  
                {
                    orphans.push_back(v);   //加入孤儿集合
                    v->parent = ORPHAN; //修改父节点标记
                }
            }

            v->weight = v->weight + minWeight*(1-k*2);  //t-value修改（减少或增加）
            //如果权值减少至0，则将ei标注为孤儿
            if( v->weight == 0 )
            {
               orphans.push_back(v);
               v->parent = ORPHAN;
            }
        }

        //===================================================//
        // 第三阶段: 树的重构

        // 为孤儿找到新的父节点，恢复树结构
        curr_ts++;
        while( !orphans.empty() ) //存在孤儿
        {
            Vtx* v2 = orphans.back(); //取一个孤儿，记为v2
            orphans.pop_back();  //删除栈顶元素，两步操作等价于出栈

            int d, minDist = INT_MAX; 
            e0 = 0;
            vt = v2->t;

            //  遍历当前结点的相邻点，ei为当前弧的编号
            for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
            {
                if( edgePtr[ei^(vt^1)].weight == 0 )    // 找到权值为0的边，无效，继续找
                    continue;
                u = vtxPtr+edgePtr[ei].dst;     // 邻接点记为u
                if( u->t != vt || u->parent == 0 )  // 不同方向的边，或者找到的点也是孤立点，继续找
                    continue;
                // 计算当前点路径长度
                for( d = 0;; )
                {
                    if( u->ts == curr_ts )  // 找到时间戳符合的结点，即此结点路径长度有效
                    {
                        d += u->dist;   // 最终路径长度等于到u结点的距离加u结点的路径长度
                        break;
                    }
                    ej = u->parent; // 继续寻找u的父节点
                    d++;            // 距有效点距离加1
                    if( ej < 0 )    // TERMINAL = -1, ORPHAN = -2
                    {
                        if( ej == ORPHAN )  // 找到的父节点是孤立点
                            d = INT_MAX-1;  // 纪录d无穷大，即无法到达终端结点
                        else    // 找到的是终端结点
                        {
                            u->ts = curr_ts;    // 更改时间戳为当前时刻，本次大循环中其路径长度是有效的！
                            u->dist = 1;        // 路径长度为1
                        }
                        break;
                    }
                    u = vtxPtr+edgePtr[ej].dst; // u指向父节点，继续回溯
                }

                // 更新子结点的路径长度
                if( ++d < INT_MAX )     // 当前结点找到了父节点
                {
                    if( d < minDist )   // 
                    {
                        minDist = d;    // 更新minDist
                        e0 = ei;        // e0记录找到的v2父弧
                    }
                    //
                    for( u = vtxPtr+edgePtr[ei].dst; u->ts != curr_ts; u = vtxPtr+edgePtr[u->parent].dst )
                    {
                        u->ts = curr_ts;
                        u->dist = --d;
                    }
                }
            }//end_for

            if( (v2->parent = e0) > 0 )
            {
                v2->ts = curr_ts;   //v2时间戳为当前时刻，本次大循环中其路径长度是有效的！
                v2->dist = minDist;
                continue;
            }

            // 未找到父节点，将此结点和其所有子节点置为孤儿
            v2->ts = 0;     // v2为当前结点，时间戳置0
            for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
            {
                u = vtxPtr+edgePtr[ei].dst; // 邻接点
                ej = u->parent;             // 邻接点的父节点
                if( u->t != vt || !ej )     // 邻接点无父节点或与本结点不同向？
                    continue;
                if( edgePtr[ei^(vt^1)].weight && !u->next )     //u和v反向，则加入活动队列 (vt^1表示对vt取反)
                {
                    u->next = nilNode;  
                    last = last->next = u;
                }
                if( ej > 0 && vtxPtr+edgePtr[ej].dst == v2 )    //当前节点确实是v2的子节点
                {
                    orphans.push_back(u);   //加入孤立点队列
                    u->parent = ORPHAN;     //标记其无父节点
                }
            }
        }//end_while
    }//end_for(;;)

    return flow; //返回最大流量
}

template <class TWeight>
bool GCGraph<TWeight>::inSourceSegment( int i )
{
    CV_Assert( i>=0 && i<(int)vtcs.size() );
    return vtcs[i].t == 0;
}

#endif