Opencv学习记录【七】——人脸贴图处理

最新推荐文章于 2024-06-06 12:56:07 发布
最新推荐文章于 2024-06-06 12:56:07 发布
阅读量3.6k 收藏 7
点赞数
分类专栏： 学习记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32768679/article/details/88425079
版权

先上上效果图：

在这里插入图片描述在这里插入图片描述

然后理一下用到的opencv知识：

1. 带人脸的图像预处理，灰度化就够了，缩小一下增加帧率；opencv的haar特征分类器；

face_cascade.detectMultiScale(image_face, faceRect, 1.2, 2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(30, 30));

2. 同1得出眼部区域，opencv的神经网络api来训练出眼部区域（为了增加帧率）；这篇文章介绍了它的神经网络及实现脸部区域和其器官的位置的神经网络训练过程。
预处理的代码如下：

// 返回 int[6]  目的：得出眼部和面部的坐标，通过神经网络训练出关系。（眼部识别更快速,用来推测出面部上边界和宽度）
//             int[0]代表识别到的区域的类型，2代表都识别到了
//             int[1] int[2]眼部的左上  int[3]眼部宽度
//             int[4] int[5]面部的左上  int[6]面部宽度
int *facedeal::data_save(cv::Mat image)        //参考https://www.cnblogs.com/walter-xh/p/6192800.html
{
    int *data = new int[7];
    cv::Mat image_gray,image_face;
    cv::cvtColor(image,image_gray,CV_BGR2GRAY);
    cv::equalizeHist(image_gray,image_gray);                             // little effect
    cv::resize(image_gray,image_face,cv::Size(),reduce_radio,reduce_radio,cv::INTER_LINEAR);

    data[0] = 0;
    //检测关于face位置 !注意：这里是缩放后的位置
        face_cascade.detectMultiScale(image_face, faceRect, 1.2, 2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(30, 30));
    for(size_t i = 0;i < faceRect.size();i ++){
        data[0]++;
        if (i >= 1)
            continue;
        faceRect[i] = faceRect[i] + cv::Point((radio-1) *faceRect[i].x, (radio-1) *faceRect[i].y); //平移左上顶点Point
        faceRect[i] = faceRect[i] + cv::Size((radio-1) *faceRect[i].width, (radio-1) *faceRect[i].height);  //缩放，左上顶点不变，宽高
        rectangle(image, faceRect[i], cv::Scalar(0, 0, 255), 1);  //画出识别的face
        data[4] = faceRect[i].x;
        data[5] = faceRect[i].y;
        data[6] = faceRect[i].width;
    }
    eye_cascade.detectMultiScale(image_gray, eyeRect, 1.2, 2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(30, 30));
    for(size_t i = 0;i < eyeRect.size();i ++){
        data[0]++;
        if (i >= 1)
            continue;
        rectangle(image, eyeRect[i], cv::Scalar(0, 0, 255), 2);  //画出识别的eyes
        data[1] = eyeRect[i].x;
        data[2] = eyeRect[i].y;
        data[3] = eyeRect[i].width;
    }
    return data;
}
//检测脸部，输入图像作为处理
cv::Mat facedeal::face_detection(cv::Mat image)
{
    cv::Mat image_gray,image_face,img;
    img = image.clone();
    cv::Mat facedata = (cv::Mat_<float>(1,3) << 0,0,0);
    cv::cvtColor(img,image_gray,CV_BGR2GRAY);

    cv::resize(image_gray,image_gray,cv::Size(),reduce_radio,reduce_radio,cv::INTER_LINEAR);
    cv::equalizeHist(image_gray,image_face);                             // little effect

    //检测关于face位置 !注意：这里是缩放后的位置
        face_cascade.detectMultiScale(image_face, faceRect, 1.2, 2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(30, 30));
    for(size_t i = 0;i < faceRect.size();i ++){
        //cout << "0: " << faceRect[i].width <<","<< faceRect[i].height <<"("<<faceRect[i].x <<","<<faceRect[i].y<<endl;
        faceRect[i] = faceRect[i] + cv::Point((radio-1) *faceRect[i].x, (radio-1) *faceRect[i].y); //平移左上顶点Point
        faceRect[i] = faceRect[i] + cv::Size((radio-1) *faceRect[i].width, (radio-1) *faceRect[i].height);  //缩放，左上顶点不变，宽高
       // faceRect[i] = faceRect[i] + cv::Point(radio *faceRect[i].x, radio *faceRect[i].y); //平移左上顶点Point
       // cout << "1: " << faceRect[i].width <<","<< faceRect[i].height <<"("<<faceRect[i].x <<","<<faceRect[i].y<<endl;
        //rectangle(image, faceRect[i], cv::Scalar(0, 0, 255), 1);  //画出识别的face
        facedata = (cv::Mat_<float>(1,3) << faceRect[0].x,faceRect[0].y,faceRect[0].width);
        break;
    }
    return facedata;
}

//检测眼部，输入图像进行处理
cv::Mat facedeal::eyes_detection(cv::Mat image)
{
    cv::Mat image_gray,image_eyes;
    cv::Mat eyesdata(1, 3, CV_32FC1);
    eyesdata = (cv::Mat_<float>(1,3) << 0,0,0);
    cv::cvtColor(image,image_gray,CV_BGR2GRAY);
    //cv::resize(image_gray,image_gray,cv::Size(),1,1,cv::INTER_LINEAR);
    cv::equalizeHist(image_gray,image_eyes);
    eye_cascade.detectMultiScale(image_eyes, eyeRect, 1.2, 2, 0 | CV_HAAR_SCALE_IMAGE, cv::Size(30, 30));
    for(size_t i = 0;i < eyeRect.size();i ++){
        rectangle(image, eyeRect[i], cv::Scalar(0, 0, 255), 2);  //画出识别的eyes
        eyesdata = (cv::Mat_<float>(1,3) << eyeRect[0].x,eyeRect[0].y,eyeRect[0].width);
        break;
    }
    return  eyesdata;
}

3. 通过眼部区域，二值化得到两眼的较准确相对位置，与水平的角度；主要需要二值化，像素点比较。
4. 通过肤色检测，脸部识别矩形框与皮肤的位置，得到脸部旋转角度。

//从脸部得到x透视角度，从eye得出旋转角度
bool facedeal::get_faceErr(cv::Mat image,cv::Mat eyes)  //eyes <float>类型，其他类型会错误
{
    if(!faceRect.data()){
        err_y = 0;
        arr_x = 0;
        return 0;
    }
    cv::Mat img = image.clone();
    cv::Mat eyes0 = img(cv::Rect(eyes.at<float>(0,0),  eyes.at<float>(0,1) , eyes.at<float>(0,2), eyes.at<float>(0,3)));
    cv::Mat eyes1;
    cv::Point p1(0,0),p2(0,0);
    int num1=0,num2=0;
    cv::cvtColor(eyes0,eyes1,CV_BGR2GRAY);
    cv::threshold(eyes1,eyes1,70, 255, CV_THRESH_BINARY);
//    cv::imshow("eyemask",eyes0);
//    cv::imshow("mask",eyes1);
    for(int ix = 0;ix < eyes1.cols/2;ix++)
        for(int iy = 0;iy <eyes1.rows;iy++){
            if(!eyes1.at<uchar>(iy,ix))   {
                p1.x += ix;
                p1.y +=iy;
                num1 ++;
            }
        }
    if(p1.x>0&&p1.y>0&&num1>0){	//防止 0/
        p1.x = p1.x/num1;
        p1.y = p1.y/num1;
    }
    for(int ix = eyes1.cols/2;ix < eyes1.cols;ix++)
        for(int iy = 0;iy <eyes1.rows;iy++){
            if(!eyes1.at<uchar>(iy,ix))   {
                p2.x += ix;
                p2.y +=iy;
                num2 ++;
            }
        }
    if(p2.x>0&&p2.y>0&&num2>0){	//防止 0/
        p2.x = p2.x/num2;
        p2.y = p2.y/num2;
    }
    err_y = p2.y - p1.y;             // > 0 : 左高右低


    int sum_err = 0;
    int start_y,end_y;
    cv::Mat faceroi = img(faceRect[0]);
    start_y = 0.5*faceroi.rows - 10;
    end_y = 0.5*faceroi.rows + 10;
    vector<int> face_left(end_y - start_y),face_right(end_y - start_y),face_err(end_y - start_y);
    cv::cvtColor(faceroi,faceroi,CV_BGR2YCrCb);
    for(int i = start_y;i <  end_y; i ++)
    {
        for(int j = 0;j < faceroi.cols; j++){
            if((faceroi.at<cv::Vec3b>(i,j)[1] > crmax)||(faceroi.at<cv::Vec3b>(i,j)[1] < crmin)
                    ||(faceroi.at<cv::Vec3b>(i,j)[2] > cbmax)||(faceroi.at<cv::Vec3b>(i,j)[2] < cbmin))
                ;
            else {
                face_left[i- start_y] = j;
                break;
            }
        }
        for(int j = faceroi.cols;j > 0 ;j--){
            if((faceroi.at<cv::Vec3b>(i,j)[1] > crmax)||(faceroi.at<cv::Vec3b>(i,j)[1] < crmin)
                    ||(faceroi.at<cv::Vec3b>(i,j)[2] > cbmax)||(faceroi.at<cv::Vec3b>(i,j)[2] < cbmin))
                ;
            else {
                face_right[i - start_y] = faceroi.cols - j;
                break;
            }
        }
        face_err[i - start_y] = face_left[i - start_y] - face_right[ i- start_y];
        sum_err += face_err[i - start_y];
    }

    arr_x = sum_err/(end_y - start_y);                        // > 0 : 左多右少
    //cout << "x "<<arr_x<<"    y "<<err_y<<endl;
    return  1;
}

5. 通过角度进行透视变换，透视变换，输入角度，需要opencv的四点法找出透视变换矩阵，再用透视变换函数进行变换。

getPerspectiveTransform(const Point2f src[], const Point2f dst[])

6. 贴图：roi范围提取、贴图处理、mask贴图、与roi比例相加

        glass1(cv::Rect(-Dx[1],-Dy[1], glass1.cols + Dx[0] +Dx[1], glass1.rows + Dy[0] +Dy[1])).copyTo(glass1);
        imageROI = image(cv::Rect(ROI_x - Dx[1],ROI_y - Dy[1],glass1.cols, glass1.rows));        //显示不完整
    }
    cv::cvtColor(glass1,glass_g,CV_BGR2GRAY);
    cv::threshold(glass_g,glass_mask1, 100, 255, cv::THRESH_BINARY);
    cv::bitwise_not(glass_mask1,glass_mask2);

    cv::Mat i1(cv::Size(glass1.cols,glass0.rows),CV_8UC3);
    cv::addWeighted(glass1,1.0,imageROI,0.2,0.,i1);                    //与原图比例加
    //贴mask
    i1.copyTo(imageROI,glass_mask2);
    //cv::medianBlur(imageROI,imageROI,5);

7. 解决贴图闪烁问题（偶尔一帧无法检测到脸部区域），一个简单的追踪问题。----下一步，追踪问题的更多思考！
8. 解决贴图抖动问题，消除识别区域的不稳定性。
两者的处理方式大同小异，通过和前一帧（的脸部区域）进行比较，通过求两次矩阵差的平均值，和阈值比较，来判断贴图位置是否需要变化。

        #if 1  //消除闪烁
                if(facedata.at<float>(0,2) == 0){           //这一帧没检测到
                    cv::cvtColor(image,mask_image,CV_BGR2GRAY);
                    cv::cvtColor(last_image,mask_lastimage,CV_BGR2GRAY);
                    absdiff(mask_image,mask_lastimage,err_image);
                    cv::imshow("ds",err_image);
                    result_err = mean(err_image);
                    std::cout << "err: "<<result_err[0] <<std::endl;
                    if(result_err[0] < 1.5){
                        facedata = last_facedata.clone();
                    }
                }
                last_image = image.clone();

        #endif
        #if 1      //解决贴图抖动问题
                absdiff(facedata,last_facedata,err_face);       //两个矩阵差的绝对值
                mean_err = cv::sum(err_face);                  //mean求平均，<10 不显著
                //std::cout <<"last:"<<last_facedata<<"new:"<<facedata<< "err: "<<mean_err <<std::endl;
                if(mean_err[0] < 100)
                    facedata = last_facedata.clone();
                last_facedata = facedata.clone();
        #endif
stupid_miao
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
opencv实现逼真贴图 白色背景被去除 看着就只显示轮廓
08-24
比如 将一个背景为白色的鱼贴到一个海洋背景中 本程序就可以只贴鱼的部分 而过滤掉白色的背景 看起来更为逼真（用opencv实现）
Opencv贴图的两种方式
Leeon's memo！- https://leeon.im/
09-05 4635
白底不贴，遍历像素时，若为白色，则忽略，否则将像素值复制到背景上 因为目标图片中可能含有白色点，并且对抠出的图片要求挺高的不然就会出现第二幅图的效果，所以这种方式局限性较大。void Drawtoback(Mat image, Mat background, int y, int x) { for (int i = 0; i < image.rows; i++) {
opencv使用copyTo()实现图片叠加 贴图 水印
liwuxin1的博客
03-27 1662
介绍 用法一：logo.copyTo(src_ROI,logo_mask) 内部操作：logo将自己经过logo_mask掩膜后，再复制到src_ROI中 参数要求：logo和src_ROI要类型一致；，logo和src_ROI和logo_mask要尺寸一致 用法二：logo.copyTo(src_ROI) 内部操作：logo将自己复制到src_ROI中 参数要求：logo和src_ROI：类型一致，尺寸一致 使用 实际使用情况多是：l...
基于Python+OpenCV照片美颜处理、瘦脸和放大眼睛
最新发布
Q1744828575的博客
06-06 347
一、项目背景与目标随着数字图像处理和计算机视觉技术的不断发展，利用编程实现照片美颜、瘦脸和眼睛放大等效果已成为可能。本项目旨在通过Python编程语言结合OpenCV库，开发一套能够实现自动化照片美颜、瘦脸及眼睛放大的处理流程，以提升照片的美观度和表现力。二、技术框架与主要工具Python：作为本项目的主要编程语言，Python提供了丰富的库和简洁的语法，非常适合进行图像处理和计算机视觉任务的开发。
opencv大图片上面贴小图
Look Forward To
09-06 1万+
在Opencv里面很多理论大家说起来都知道，也都能想到怎么做，但是真正实践起来不是那样的，可能你会经历很多次试验的失败，再到睡觉都思索时候你也还是失败，然后洗把脸继续钻研，一行一行钻研，做笔记，画图，后来发现OK了。这也就是研究的乐趣。哈哈哈。不说这么多废话。开始记录技术点。 图片合成： 注意： 1：如果你是两张合并的图片大小尺寸和深度都一样，那随便用那个方法都行。 ...
【OpenCV】透视变换应用——实现鸟瞰图与贴图
logani的博客
12-17 2972
基于OpenCV透视变换的应用，详细讲述了如何实现鸟瞰图与贴图
OpenCV学习笔记——1
01-06
一、OpenCV概念 OpenCV是什么？ OpenCV 是一个开源的计算机视觉库，可以从 http://opencv.org 获取。 OpenCV 库用C语言和 C++ 语言编写，可以在 Windows、Linux、Mac OS X 等系统运行。同时也在积极开发 Python、...
OpenCv —— 人脸识别（附完整源码）
06-09
OpenCv —— 人脸识别（附完整源码）。具体查看csdn文章: ...
深度学习——人脸识别代码.rar
02-27
这个压缩包“深度学习——人脸识别代码.rar”很可能包含了一套用于人脸识别的完整代码实现，我们可以从多个角度来解析这个主题。 首先，人脸识别是计算机视觉中的一个重要任务，其目标是通过分析图像或视频流中的...
python+opencv图像处理基础——图像滤波方式
12-22
1.先人为的给图像加噪声，以便后续进行滤波处理。 #给图像加噪声 import cv2 import numpy as np import matplotlib.pyplot as plt #读取图片 im = cv2.imread('D:\pythonb\wx020.jpg') rows, cols, chn = im
OpenCV图像处理基础——基于C++实现
06-19
OpenCV图像处理基础——基于C++实现版本视频培训课程概况：教程中会讲解到OpenCV的基础知识及使用方法，并基于OpenCV实现基础的图像处理算法；除此之外课程包含如下的内容： 图像颜色空间及类型转换及应用（BGR、...
opencv利用掩码实现逼真贴图 去除白背景
10-06
比如把一个带有白色背景的熊猫头，复制到一个背景图片中，本程序可以实现只复制熊猫头，而去掉白色的背景，使得贴图更加的逼真。
opencv——实现图片的粘贴
萝卜一只有榨菜的 Opencv&C
09-24 4206
#include #include int main( int arc ,int argv[]) { //读入图像（a为大图，b为小图【用于被粘贴】） IplImage* a = cvLoadImage("C:\\Users\\wxh\\Documents\\Visual Studio 2010\\Projects\\9.24\\9.24\\1.jpg"); IplImage* b = cvL
OpenCV中局部贴图的方法
马小飞的博客
10-16 4792
为了用OpenCV实现这种效果应先使用ROI功能圈定对应区域创建局部Mat图像头，使两图片尺寸相同。 然后用addWeighted函数按0 1加权覆盖 cv::Mat roiImage; cv::Rect rect(0, 0, intrImage.cols, intrImage.rows); //位置roiImage=srcImage(rect); cv::addWeighted(roiIm
OpenCV-带有深度信息图的贴图（增强现实）
qingyun_wudaoletu的博客
08-24 3716
OpenCV带有深度信息图的贴图（增强现实） 贴图是一件很简单得事情，我利用单目深度图像的算法进行得到的深度图信息进行贴图，也就是图片会根据深度信息进行该显示的地方显示，不该显示的地方遮挡，听起来是不是很有趣。
opencv贴图代码完整版
XuXiaoQi_0928的博客
03-13 5184
有疑问请联系作者邮箱：xtr0928@126.com
cv.resize()详解
热门推荐
xidaoliang的博客
01-16 8万+
resize是opencv库中的一个函数 函数功能:缩小或者放大函数至某一个大小 resize(InputArray src, OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR ) 参数解释：InputArray src ：输入，原图像，即待改...
opencv改变图像大小cvResize和resize及其原理
蛰伏--当你不够强大时，就不要放弃努力
02-13 5151
如：函数 原始图像为M*N，缩小后图像大小要求为m*n，则须要将图像划分为(M*N)/(m*n)大小的互不相交的小块，计算小块的平均值，该值做为缩小图像对应的像素值。atom 以下图：spa 咱们把16*16的图像缩小成4*4的图像：code 最后对应的值以下： 在Opencv里面图片缩放函数以下图片 void resize(InputArray src, OutputArray dst, Size dsize, double fx=0, double fy=0, int interp.
OpenCV3之——图像金字塔与图片尺寸缩放（pyrUp、pyrDown、resize）
衣带渐宽人憔悴
07-27 5655
如果要放大或缩小图片的尺寸，可以使用OpenCV提供的两种方法：  resize函数，是最直接的方式；  pyrUp，pyrDown函数，即图像金字塔相关的两个函数，对图像进行上采样和下采样的操作。 一、  resize函数（resize函数在imgproc模块的Geometric Image transformations子模块里） 源码溯源：（resize函数位于..\opencv\so...
opencv学习笔记——cv::mean()函数详解
06-12
cv::mean()函数是OpenCV中用于计算图像均值的函数，它的函数原型如下： ``` Scalar cv::mean(InputArray src, InputArray mask = noArray()); ``` 其中，src参数是输入的图像，mask参数是用于掩码的可选参数。 函数返回值是一个Scalar类型的值，包含了计算得到的均值。 使用cv::mean()函数的步骤如下： 1. 加载图像 ``` Mat img = imread("image.jpg", cv::IMREAD_GRAYSCALE); ``` 2. 计算均值 ``` Scalar mean = cv::mean(img); ``` 在这个例子中，我们计算了灰度图像的均值，并将结果存储在名为mean的Scalar变量中。 如果想要使用掩码来计算均值，可以使用以下代码： ``` Mat mask = imread("mask.jpg", cv::IMREAD_GRAYSCALE); Scalar mean = cv::mean(img, mask); ``` 在这个例子中，我们使用名为mask的掩码来计算灰度图像的均值。 需要注意的是，如果输入图像是多通道的，则返回的Scalar类型变量包含每个通道的均值。例如，如果输入图像是RGB图像，则返回的Scalar类型变量包含红、绿、蓝三个通道的均值。 希望这个解释能够帮助你理解cv::mean()函数的使用方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值