通过OpenCV实现纯色实时抠图的逻辑记录

1、抠图算法来源于网络

cv::Mat replace_and_blend(cv::Mat &frame, cv::Mat &bg, cv::Mat &mask)
{
    cv::Mat result = cv::Mat::zeros(frame.size(), frame.type());
    int h = frame.rows;
    int w = frame.cols;
    int dims = frame.channels();

    // replace and blend
    int m = 0;
    double wt = 0;

    int r = 0, g = 0, b = 0;
    int r1 = 0, g1 = 0, b1 = 0;
    int r2 = 0, g2 = 0, b2 = 0;

    double time = GetTickCount();
    for (int row = 0; row < h; row++)
    {
        uchar* current = frame.ptr<uchar>(row);
        uchar* bgrow = bg.ptr<uchar>(row);
        uchar* maskrow = mask.ptr<uchar>(row);
        uchar* targetrow = result.ptr<uchar>(row);
        for (int col = 0; col < w; col++)
        {
            m = *maskrow++;
            if (m == 255) { // 背景
                *targetrow++ = *bgrow++;
                *targetrow++ = *bgrow++;
                *targetrow++ = *bgrow++;
                current += 3;

            }
            else if (m == 0) {// 前景
                *targetrow++ = *current++;
                *targetrow++ = *current++;
                *targetrow++ = *current++;
                bgrow += 3;
            }
            else {
                b1 = *bgrow++; // 用指针的方式，速度快一些
                g1 = *bgrow++;
                r1 = *bgrow++;

                b2 = *current++;
                g2 = *current++;
                r2 = *current++;

                // 权重
                wt = m / 255.0;

                // 混合
                b = b1*wt + b2*(1.0 - wt);
                g = g1*wt + g2*(1.0 - wt);
                r = r1*wt + r2*(1.0 - wt);

                *targetrow++ = b;
                *targetrow++ = g;
                *targetrow++ = r;
            }
        }
    }

    return result;
}

 

2、实时优化抠图效果逻辑

cv::Mat result;

cv::Mat frame(cv::Size(width, height), CV_8UC3, (void*)buffer);
//进行背景纯色抠图                    
cv::Mat hsv, mask;
cv::cvtColor(frame, hsv, CV_BGR2HSV); // 转HSV

cv::Mat bg = cv::imread("bk.png", cv::IMREAD_COLOR);                 
cv::inRange(hsv, cv::Scalar(35,43, 46), cv::Scalar(99, 255, 255), mask); // 在HSV中，Scalar的通道顺序为 H S V 
cv::Mat k = cv::getStructuringElement(cv::MORPH_CROSS, cv::Size(3, 3), cv::Point(-1, -1));
morphologyEx(mask, mask, cv::MORPH_CLOSE, k); // 去掉黑色前景色上的白色噪点
erode(mask, mask, k);
GaussianBlur(mask, mask, cv::Size(3, 3), 0, 0); // 腐蚀用的size是3，模糊的时候也要是3，效果才好
result = replace_and_blend(frame, bg, mask);