Python+OpenCV实现实时视频3D换脸

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_38106923/article/details/81534919

目录

开发环境

运行机制

案例效果

案例下载


  • 开发环境

  1. Python 2.X或Python3.X
  2. OpenCV
  3. NumPy
  4. DLIB
  5. pygame
  6. PyOpenGL
  7. 必须从此处下载面部对齐模型:https://sourceforge.net/projects/dclib/files/dlib/v18.10/shape_predictor_68_face_landmarks.dat.bz2并将其解压缩到主项目目录。
  • 运行机制

首先,我们获取输入图像(我们想要在自己的脸上看到的人的图像)并找到面部区域及其地标。一旦我们得到了我们将3D模型拟合到那些地标(稍后更多),投射到图像空间的模型的顶点将是我们的纹理坐标。一旦完成并且所有内容都已初始化,相机将开始捕获图像。对于每个捕获的图像,执行以下步骤:

  1. 检测面部区域并定位面部标志。
  2. 3D模型适用于定位的地标。
  3. 使用pygame渲染3D模型,其中初始化期间获得纹理。
  4. 使用羽化(α混合)和非常简单的颜色校正将渲染模型的图像与从相机获得的图像混合。
  5. 最终图像显示给用户。

整个过程中最关键的因素是3D模型的拟合。该模型本身包括:

  1. 中性面的3D形状(顶点集),
  2. 一些混合形状,可以添加到中性面,以产生张口,眉毛等,
  3. 面部形状的一组三元组,形成面部的三角形网格,
  4. 两组索引,用于建立由界标定位器找到的界标与3D面部形状的顶点之间的对应关系。

使用以下等式将模型投影到图像空间中:

其中s是投影形状,a是缩放参数,P是旋转3D表面形状的旋转矩阵的前两行,S_0是中性面形状,w_1-n是混合形状权重,S_1-n是blendshapes,t是2D平移向量,n是混合形状的数量。

通过最小化投影形状和局部标志之间的差异来完成模型拟合。使用高斯牛顿法,相对于混合形状权重,缩放,旋转和平移完成最小化。

  • 案例效果

接下来使用实时视频将爱因斯坦的脸移植到我的脸上~

原图片如下:

移植后效果如下: 

  • 案例下载

案例Demo下载:https://download.csdn.net/download/m0_38106923/10593086

知识拓展:给各位小伙伴们分享类似AI项目:Python+OpenCv实现AI人脸识别身份认证系统(1)——人脸识别原理

展开阅读全文

没有更多推荐了,返回首页