记录四图像处理之瘦脸 MLS算法 C++实现

最新推荐文章于 2024-06-06 12:56:07 发布
最新推荐文章于 2024-06-06 12:56:07 发布
阅读量2.4k 收藏 10
点赞数 4
文章标签： c++ opencv 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinzihangxj/article/details/106321629
版权

 

MLS算法 C++实现

这段时间要做一个美颜软件作为结课的一个小作业，其中有一个功能是瘦脸，关于这方面看了一些资料，做了一个小Demo。因为我看现有的基于OpenCv做的MLS好像还没有人发，所以尽管做的很粗糙还是决定记录一下，以供大家参考学习。

先上一波效果图

第一张是原图像；第二张是打完标记点之后的图像，深蓝色记为p点也就是原图像的点，浅蓝色记为q点，是原图像变形后的点；第三张是经过MLS变形处理之后的图像了，图像畸变有点大主要是面部的标记点需要优化一下。

具体标记点是怎么得出的之后会写文章介绍，这篇就不涉及了，感兴趣的可以去搜索Facelandmark看看这方面的资料就可以了。

这篇文章没有理论部分，只是单纯的代码实现，基于Image Deformation Using Moving Least Squares这篇文章写的C++和Opencv代码，想深入了解的直接去看论文就可以了。

数学部分

f(v) = (v - p*)(\sum_{i} \hat{pi^{T}}Wi\hat{pi})^{-1}\sum_{j}Wj\hat{pj}^T\hat{qj} + q*     公式一

其中v是图像中的点p是变形前的点q是变形后的点，w是权重。

W_{i} = \frac{1}{\left | p_{i} - v \right |^{2\alpha }}                                                                  公式二

p_{i}是图像中控制点的点集，v是原图像中的点，\alpha我们在程序中取1。

p*=\frac{\sum_{i}W_{i}p_{i}}{\sum_{i}W_{i}}                                                                     公式三

q*=\frac{\sum_{i}W_{i}q_{i}}{\sum_{i}W_{i}}                                                                      公式四

\hat{p} = p_{i}-p*                                                                           公式五

\hat{q} = q_{i}-q*                                                                            公式六

以上就是整个数学过程的计算，先完成公式二至六，最后通过公式一输出新的点的坐标。

编程部分

W_{i} = \frac{1}{\left | p_{i} - v \right |^{2\alpha }}                                                                  公式二

C++代码如下

vector<float>W;
Point p_star, q_star = Point(0,0);
for(int i = 0; i <= p.size() - 1; i++)
{
    float temp;
    if(p[i] == V)
    {
        temp = INT_MAX;
        cout << "DBL_MAX = " << INT_MAX << endl;
    }
    else
    {
        temp = 1.0/(((p[i].x - V.x) * (p[i].x - V.x)) + ((p[i].y - V.y) * (p[i].y - V.y)));//aclculate weight W
            
    }
    W.push_back(temp);
}

 p*=\frac{\sum_{i}W_{i}p_{i}}{\sum_{i}W_{i}}                                                                     公式三

q*=\frac{\sum_{i}W_{i}q_{i}}{\sum_{i}W_{i}}                                                                      公式四

C++代码如下

    float px=0,py=0,qx=0,qy=0,W_sum=0;
    for(int i = 0; i <= W.size() - 1; i++)
    {
        px += W[i]*p[i].x;
        py += W[i]*p[i].y;


        qx += W[i]*q[i].x;
        qy += W[i]*q[i].y;
        //cout << "qx = " << qx << "  qy = "<< qy  <<endl;


        W_sum += W[i];
        //cout <<"W_sum = " << W_sum << endl;
    }

    //W_sum = accumulate(W.begin(), W.end(),0);

    p_star.x = px/W_sum;
    p_star.y = py/W_sum;

    q_star.x = qx/W_sum;
    q_star.y = qy/W_sum;

\hat{p} = p_{i}-p*                                                                           公式五

\hat{q} = q_{i}-q*                                                                            公式六

C++实现如下

    vector<Point> p_hat, q_hat;

    for(int i = 0; i <= p.size() - 1; i++)
    {
        p_hat.push_back(p[i] - p_star);
        q_hat.push_back(q[i] - q_star);
        //cout << "p_hat[i] = " << p_hat[i] << endl;
        //cout << "q_hat[i] = " << q_hat[i] << endl;


    }

(\sum_{i} \hat{pi^{T}}Wi\hat{pi})^{-1}

代码实现如下

其中使用了OpenCv的Mat类和Mat_类，不直接使用Mat类是因为Mat类做矩阵运算遇到负数会被截断为0。

    Mat pi_hat_t_ = Mat::zeros(2,1,CV_32FC1);
    Mat_<float> pi_hat_t = pi_hat_t_;

    Mat pi_hat_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> pi_hat = pi_hat_;

    Mat M_1_ = Mat::zeros(2,2,CV_32FC1);
    Mat_<float> M_1 = M_1_;


    for(int i = 0; i <= p_hat.size() - 1; i++)
    {
        pi_hat_t.at<float>(0,0) = p_hat[i].x;//将点转化为矩阵
        pi_hat_t.at<float>(1,0) = p_hat[i].y;
        //cout << "pi_hat_t" << pi_hat_t << endl;
        pi_hat.at<float>(0,0) = p_hat[i].x;
        pi_hat.at<float>(0,1) = p_hat[i].y;
        //cout << "pi_hat" << pi_hat<< endl;
        M_1 += pi_hat_t*W[i]*pi_hat;
        //cout << "W[i] = " << W[i] << endl;
        //cout <<"M_1" << M_1 << endl;
    }
    Mat_<float> M_1_inv = M_1.inv();
    M_1 = M_1_inv;

\sum_{j}Wj\hat{pj}^T\hat{qj}

C++代码实现如下与上片段类似

    Mat pj_hat_t_ = Mat::zeros(2,1,CV_32FC1);
    Mat_<float> pj_hat_t = pj_hat_t_;

    Mat qj_hat_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> qj_hat = qj_hat_;

    Mat M_2_ = Mat::zeros(2,2,CV_32FC1);
    Mat_<float> M_2 = M_2_;

    for(int j = 0; j <= q.size() -1; j++)
    {
        pj_hat_t.at<float>(0,0) = p_hat[j].x;
        pj_hat_t.at<float>(1,0) = p_hat[j].y;
        qj_hat.at<float>(0,0) = q_hat[j].x;
        qj_hat.at<float>(0,1) = q_hat[j].y;
        M_2 += W[j]*pj_hat_t*qj_hat;
    }

f(v) = (v - p*)(\sum_{i} \hat{pi^{T}}Wi\hat{pi})^{-1}\sum_{j}Wj\hat{pj}^T\hat{qj} + q*     公式一

    Mat_<float> M = M_1*M_2;//ok
    //cout << "M = " << M << endl;

    Point x_p_star = V - p_star;
    //cout << "V = " << V << endl;
    cout << "q_star = " << q_star << endl;
    //cout << "x_p_star = " << x_p_star << endl;



    Mat M_x_p_star_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> M_x_p_star = M_x_p_star_;

    M_x_p_star.at<float>(0,0) = x_p_star.x;
    M_x_p_star.at<float>(0,1) = x_p_star.y;

    Mat M_q_star_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> M_q_star = M_q_star_;

    M_q_star.at<float>(0,0) = q_star.x;
    M_q_star.at<float>(0,1) = q_star.y;

    Mat_<float> Lv = M_x_p_star * M + M_q_star;//公式一

以上代码中用到的M矩阵为仿射矩阵，可以替换为刚性变形矩阵之类的具体代码实现看论文也很好实现。

代码总览

NewPoint函数功能是根据映射关系 p与q生成返回新的Point坐标，MLS函数则是调用NewPoint函数遍历图像生成新的图像。

Point NewPoint(Point V, vector<Point> p, vector<Point> q)
{
    vector<float>W;
    Point p_star, q_star = Point(0,0);
    for(int i = 0; i <= p.size() - 1; i++)
    {
        float temp;
        if(p[i] == V)
        {
            temp = INT_MAX;
            cout << "DBL_MAX = " << INT_MAX << endl;
        }
        else
        {
            temp = 1.0/(((p[i].x - V.x) * (p[i].x - V.x)) + ((p[i].y - V.y) * (p[i].y - V.y)));//aclculate weight W
            //cout << "p[i] = " << p[i] << endl;
            //cout << "V = " << V << endl;
        }
        W.push_back(temp);
        //cout << "W[i] = " << W[i] << endl;
    }
    float px=0,py=0,qx=0,qy=0,W_sum=0;
    for(int i = 0; i <= W.size() - 1; i++)
    {
        px += W[i]*p[i].x;
        py += W[i]*p[i].y;


        qx += W[i]*q[i].x;
        qy += W[i]*q[i].y;
        //cout << "qx = " << qx << "  qy = "<< qy  <<endl;


        W_sum += W[i];
        //cout <<"W_sum = " << W_sum << endl;
    }

    //W_sum = accumulate(W.begin(), W.end(),0);

    p_star.x = px/W_sum;
    p_star.y = py/W_sum;

    q_star.x = qx/W_sum;
    q_star.y = qy/W_sum;
    //cout << "px = " << px << "  py = "<< py  <<endl;
    //cout <<"W_sum = " << W_sum << endl;
    //cout << "p_start = " << p_star << endl;
    //cout << "q_start = " << q_star << endl;




    vector<Point> p_hat, q_hat;

    for(int i = 0; i <= p.size() - 1; i++)
    {
        p_hat.push_back(p[i] - p_star);
        q_hat.push_back(q[i] - q_star);
        //cout << "p_hat[i] = " << p_hat[i] << endl;
        //cout << "q_hat[i] = " << q_hat[i] << endl;


    }
    Mat pi_hat_t_ = Mat::zeros(2,1,CV_32FC1);
    Mat_<float> pi_hat_t = pi_hat_t_;

    Mat pi_hat_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> pi_hat = pi_hat_;

    Mat M_1_ = Mat::zeros(2,2,CV_32FC1);
    Mat_<float> M_1 = M_1_;


    for(int i = 0; i <= p_hat.size() - 1; i++)
    {
        pi_hat_t.at<float>(0,0) = p_hat[i].x;
        pi_hat_t.at<float>(1,0) = p_hat[i].y;
        //cout << "pi_hat_t" << pi_hat_t << endl;
        pi_hat.at<float>(0,0) = p_hat[i].x;
        pi_hat.at<float>(0,1) = p_hat[i].y;
        //cout << "pi_hat" << pi_hat<< endl;
        M_1 += pi_hat_t*W[i]*pi_hat;
        //cout << "W[i] = " << W[i] << endl;
        //cout <<"M_1" << M_1 << endl;
    }
    Mat_<float> M_1_inv = M_1.inv();
    M_1 = M_1_inv;
    //cout <<"M_1_inv = " << M_1 << endl;

    Mat pj_hat_t_ = Mat::zeros(2,1,CV_32FC1);
    Mat_<float> pj_hat_t = pj_hat_t_;

    Mat qj_hat_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> qj_hat = qj_hat_;

    Mat M_2_ = Mat::zeros(2,2,CV_32FC1);
    Mat_<float> M_2 = M_2_;

    for(int j = 0; j <= q.size() -1; j++)
    {
        pj_hat_t.at<float>(0,0) = p_hat[j].x;
        pj_hat_t.at<float>(1,0) = p_hat[j].y;
        qj_hat.at<float>(0,0) = q_hat[j].x;
        qj_hat.at<float>(0,1) = q_hat[j].y;
        M_2 += W[j]*pj_hat_t*qj_hat;
    }
    //cout <<"M_2 = " << M_2 << endl;
    Mat_<float> M = M_1*M_2;//ok
    //cout << "M = " << M << endl;

    Point x_p_star = V - p_star;
    //cout << "V = " << V << endl;
    cout << "q_star = " << q_star << endl;
    //cout << "x_p_star = " << x_p_star << endl;



    Mat M_x_p_star_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> M_x_p_star = M_x_p_star_;

    M_x_p_star.at<float>(0,0) = x_p_star.x;
    M_x_p_star.at<float>(0,1) = x_p_star.y;

    Mat M_q_star_ = Mat::zeros(1,2,CV_32FC1);
    Mat_<float> M_q_star = M_q_star_;

    M_q_star.at<float>(0,0) = q_star.x;
    M_q_star.at<float>(0,1) = q_star.y;

    Mat_<float> Lv = M_x_p_star * M + M_q_star;
    cout << "Lv = " << Lv <<endl;
    //cout <<"Point LV" << Point(Lv.at<float>(0,0) ,  Lv.at<float>(0,1)) <<endl;

    return Point(Lv.at<float>(0,0) ,  Lv.at<float>(0,1));

}
void MLS(Mat src, Mat &dst, vector<Point> p, vector<Point> q)
{
    Mat res = Mat::zeros(src.rows,src.cols,CV_8UC3);
    for(int i = 0; i < src.rows; i++)
    {
        for(int j = 0; j < src.cols; j++)
        {
            Point old = Point(j, i);
            Point new_point = NewPoint(old, p, q);
            cout <<"old = " << old << endl;
            cout <<"new  = " << new_point << endl;

            dst.at<Vec3b>(i,j) = src.at<Vec3b>(new_point.y,new_point.x);
            //cout << "src.at<uchar> = " << src.at<Vec3b>(new_point.y,new_point.x) << endl;

        }
    }
    imshow("src",src);
    imshow("dst_msl",dst);

}

以上便是本文的所有内容,如有错误疏漏欢迎大家指出.

齿轮狂魔
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
自动瘦脸与眼睛放大美颜算法
dengfuma的专栏
01-18 1万+
自动瘦脸与眼睛放大可以算作图像局部扭曲算法的一个应用，其参考文献可以追溯至1993年的一篇博士论文：Interactive Image Warping。这篇论文详细描述了算法原理，并提供了伪码实现，有兴趣的同学自行下载研读。图像局部扭曲算法有三个：局部缩放（Local Scaling）算法、局部平移（Local Transition）算法和局部旋转（Local Rotation）算法。其中应用局部缩
opencv+c++实现的瘦脸算法
Vito
04-23 5681
关键思想是《Image Deformation Using Moving Least Squares》这篇论文中提到的方法。 实现： 1>实现人脸关键点定位 2>实现论文中像素点的坐标变换 坐标变换源码： void face_lift(Mat &src,const vector<Point2f>& landmarks,int change...
基于Python+OpenCV照片美颜处理、瘦脸和放大眼睛
最新发布
Q1744828575的博客
06-06 436
一、项目背景与目标随着数字图像处理和计算机视觉技术的不断发展，利用编程实现照片美颜、瘦脸和眼睛放大等效果已成为可能。本项目旨在通过Python编程语言结合OpenCV库，开发一套能够实现自动化照片美颜、瘦脸及眼睛放大的处理流程，以提升照片的美观度和表现力。二、技术框架与主要工具Python：作为本项目的主要编程语言，Python提供了丰富的库和简洁的语法，非常适合进行图像处理和计算机视觉任务的开发。
OPENCV瘦脸程序
05-24
基于vs2013+opencv2.4.8
opengl 实现瘦脸等脸部微调(opencv + opengl + dlib)
07-03
利用opengl实现瘦脸等脸部微调，VS2019的c++工程，环境都在里面，可以直接运行看效果。特征点利用dlib识别出来的。
数字图像处理-美图秀秀：瘦脸算法
Mibbp的博客
11-01 3513
本项目是以matlab为主语言并设计GUI界面的一款简易美图秀秀，包含基础的图像处理和一些常见美颜算法对于一些matlab较难实现的算法采用C++或python来实现⭐️ github地址：https://github.com/mibbp/MeituShow里面有我完整的代码，你想直接运行记得看readme配置一下环境，本博客更多的是讲解原理。
C++ / Opencv 简单实现美颜效果（瘦脸、大眼、磨皮等）
Tjmies的博客
06-12 1万+
最近项目需要用到美颜的一些效果，因此开始接触opencv计算机视觉库,在腾讯课堂上找到一个简单且免费的入门视频《Opencv4快速入门视频30讲》，
基于移动最小二乘算法（MLS）的图像变形
08-14
在本项目中，开发者使用了QT作为用户界面框架，OpenCV作为图像处理库，实现了MLS算法的图像变形功能。QT提供了一种跨平台的图形用户界面开发工具，使得程序具有良好的可移植性和用户友好性。OpenCV则是一个强大的...
基于C++和PCL库等实现了点云处理算法+源码（高分优秀项目）
05-12
基于C++和PCL库等实现了点云处理算法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 基于PCL库实现的一些算法. 编译环境为Linux CMake gcc. pcl...
_基于MLS的图像变形技术研究与实现_基于MLS的图像变形技术研究与实现_
10-01
在图像处理领域，基于多层细分表面（Moving Least Squares, MLS）的图像变形技术是一项重要的研究内容。这种技术主要用于图像的几何变换，能够平滑地改变图像的形状，同时保持图像的质量和连续性。在本文中，我们将...
移动最小二乘法（MLS）基于C++代码实现
05-03
移动最小二乘法（Moving Least Squares，简称MLS）是一种在几何重建、插值和光滑处理等领域广泛应用的数学方法。...通过理解和实现这样的代码，不仅可以掌握MLS算法，还可以提升在C++编程和数值计算方面的能力。
C++ 图像处理 Opengl美颜滤镜与大眼等功能原理.zip
08-18
C++ 图像处理 Opengl美颜滤镜与大眼等功能原理
图像扭曲C++实现
12-17
在图像处理领域，"图像扭曲C++实现" 是一个重要的技术点，主要涉及到图像的几何变换。这种技术常用于图像数据增强，目的是通过改变原始图像的几何形状来生成新的图像样本，以增加训练模型时的多样性，提升机器学习或...
OpenCV实战之人脸美颜美型（九）——瘦脸
On my way
05-21 1100
本讲我们围绕瘦脸功能展开，瘦脸的功能很明确：让脸部变得瘦削，如下图所示。从图像处理的角度来说它将脸部轮廓周围的图像进行收缩操作，同时还要确保收缩后图像分布连续；与大眼算法类似，它也是一种非线性变形的算法。
瘦脸之液化算法
年轻即出发，
11-23 5201
论文：Interactive Image Warping（1993年Andreas Gustafsson） 算法思路： 假设当前点为（x,y）,手动指定变形区域的中心点为C(cx,cy)，变形区域半径为r，手动调整变形终点（从中心点到某个位置M）为M（mx,my），变形程度为strength，当前点对应变形后的目标位置为U。变形规律如下， 圆内所有像素均沿着变形向量的方向发生偏移 距离圆心越近，变形程度越大 距离圆周越近，变形程度越小，当像素点位于圆周时，该像素不.
实现瘦脸算法
weixin_41952834的博客
12-26 455
【代码】实现瘦脸算法。
图像处理算法之瘦脸及放大眼睛
热门推荐
grafx的专栏
04-18 3万+
现在很多图像美颜app，处理后不但使人物皮肤变得平滑、白皙，还会稍微瘦下脸、放大眼睛，给人眼前一亮的感觉。这其中涉及人脸检测及特征点提取算法，一般提取68个特征点就足够了，同时也涉及图像局部变形算法。
Android修图处理算法—— drawBitmapMesh算法实现瘦脸效果
hirezy
05-25 3361
一.初识Canvas.drawBitmapMesh() 1. 方法介绍分析 先看drawBitmapMesh官方api介绍： 打开元源码看看drawBitmapMesh的详细介绍，就知道这个方法参数的具体描述。 函数的几个参数的意思如下： bitmap：将要扭曲的图像 meshWidth：控制在横向上把该图像划成多少格 meshHeight：控制在纵向上把该图像划成多少格 verts：网格交叉点坐标数组，长度为(meshWidth + 1) * (meshHeight + 1) * 2 vertOff
[转载]基于MLS（ Moving Least Squares）的瘦脸算法
PangCoder的博客
06-29 247
1.能达到瘦脸效果2.图片质量有所下降，痕迹很严重opencv+c++实现的瘦脸算法_VitowithoutHair的博客-CSDN博客关键思想是《Image Deformation Using Moving Least Squares》这篇论文中提到的方法。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值