C++ OpenCV Contrib模块LBF人脸特征点检测

学更好的别人，

做更好的自己。

——《微卡智享》

本文长度为3322字，预计阅读9分钟

前言

《OpenCV源码Android端编译，用时三天，我编了个寂寞。。。》文中介绍了编译OpenCV+Contrib模块的编译，虽然Andorid下编译始终没有获得libopencv_java4.so的库，不过在Windows下编译还是正常的，今天主要介绍人脸特征点的检测功能，就用到Contrib模块中的FaceMarkLBF。

实现效果

上面的GIF图中可以看出来，除了第一张多人里面有侧脸的，检测特征点时有点差，基本检测的都还挺不错。文章最后有Demo的GitHub源码地址。

实现方式

#	思路
1	加载OpenCV DNN和FacemarkLBF的模型（FacemarkLBF在OpenCVr的Contrib模块中）
2	使用DNN人脸检测获取图像中所有人脸的矩形框
3	调用FaceMarkLBF中的fit针对Mat和上面获得的人脸矩形框进行特征点检测，检测的结果存放为vector<vector<Point2f>>格式。

重点说明

微卡智享

01

关于OpenCV配置

使用VS2019编译的OpenCV及Contrib模块的源码后，生成的dll的动态库是VC16了，不是原来的VC15，而且在Debug和Relese都编译了一遍（用处就在正式环境中速度会提高接近10倍），所以会有opencv_world451.dll和opencv_world451d.dll两个动态库。

属性管理器里面也加入Debug和Relese的配置

Debug和Relese的VC++目录还是编译后的OpenCV目录。

链接器中Debug这里填上opencv_world451d.lib，而Relese里就填opencv_world451.lib。

02

DNN人脸检测

同《实践|OpenCV4.2使用DNN进行人脸检测一（图片篇）》文章中一样，已经把DNN的人脸检测单位写在一个类中

原来的detect的函数中我们是在原图上画出红色矩形框，返回的是vector<Mat>的值，因为特征点需要的是vector<Rect>的值，所以又新写了一个函数

bool dnnfacedetect::detectRect(Mat frame, vector<Rect> &rects)
{
  Mat tmpsrc = frame;


  // 修改通道数
  if (tmpsrc.channels() == 4)
    cvtColor(tmpsrc, tmpsrc, COLOR_BGRA2BGR);
  // 输入数据调整
  Mat inputBlob = dnn::blobFromImage(tmpsrc, inScaleFactor,
    Size(inWidth, inHeight), meanVal, false, false);
  _net.setInput(inputBlob, "data");


  //人脸检测
  Mat detection = _net.forward("detection_out");


  Mat detectionMat(detection.size[2], detection.size[3],
    CV_32F, detection.ptr<float>());


  if (detectionMat.rows <= 0) return false;


  //检测出的结果进行绘制和存放到dsts中
  for (int i = 0; i < detectionMat.rows; i++) {
    //置值度获取
    float confidence = detectionMat.at<float>(i, 2);
    //如果大于阈值说明检测到人脸
    if (confidence > confidenceThreshold) {
      //计算矩形
      int xLeftBottom = static_cast<int>(detectionMat.at<float>(i, 3) * tmpsrc.cols);
      int yLeftBottom = static_cast<int>(detectionMat.at<float>(i, 4) * tmpsrc.rows);
      int xRightTop = static_cast<int>(detectionMat.at<float>(i, 5) * tmpsrc.cols);
      int yRightTop = static_cast<int>(detectionMat.at<float>(i, 6) * tmpsrc.rows);
      //生成矩形存入检测的数组中
      Rect rect((int)xLeftBottom, (int)yLeftBottom,
        (int)(xRightTop - xLeftBottom),
        (int)(yRightTop - yLeftBottom));


      rects.push_back(rect);
    }
  }


  return true;
}

03

LBF人脸特征点

LBF人脸特征点检测也单独写了一个类，里面也比较简单，构造函数直接加载模型，然后一个检测的函数。

#include "chkfacemark.h"




chkfacemark::chkfacemark(string lfmodel)
{
  _lfbmodel = lfmodel;
  //创建对象
  _facemark = FacemarkLBF::create();
  //加载模型
  _facemark->loadModel(_lfbmodel);
}


chkfacemark::~chkfacemark()
{
  _facemark.release();
}


bool chkfacemark::facemarkdetector(Mat src, vector<Rect> faces, vector<vector<Point2f>> &facemarks)
{
  return _facemark->fit(src, faces, facemarks);
}

04

多张图片加载

以前的Demo中只是加载了一张图片，这次是直接加了一个目录下的文件。定义了文件目录后，使用cv::glob的函数可以把所有的文件名存放到vector<string>的变量里。

  //加载多张图片
  string picdesc = "E:/DCIM/person/";
  vector<string> filenames;
  cv::glob(picdesc, filenames);

然后再循环处理filenames的方法即可。

05

关于图像缩放的问题

上面两个图中可以看到，像素差别好大，如果不用缩放的话，第二张图只能看到左上角的图片，为了解决这个问题，所以写了一个函数用于处理图像绽放的问题。

#	图像缩放思路
1	设定横向图像的最大宽度、纵向图像的最大高度
2	根据输入的图像判断是横向还是纵向
3	横向如果宽度超过最大宽度，按最大宽度除当前宽度算出比例，然后进行Resize的缩放（纵向就是高度超过最大高度处理）

//计算图像缩放
void MatResize(Mat& frame, int maxwidth, int maxheight)
{
  double scale;
  //判断图像是水平还是垂直
  bool isHorizontal = frame.cols > frame.rows ? true : false;


  //根据水平还是垂直计算缩放
  if (isHorizontal) {
    if (frame.cols > maxwidth) {
      scale = (double)maxwidth / frame.cols;
      resize(frame, frame, Size(0, 0), scale, scale);
      }
  }
  else {
    if (frame.rows > maxheight) {
      scale = (double)maxheight / frame.rows;
      resize(frame, frame, Size(0, 0), scale, scale);
    }
  }
}

然后在每次读取完图像后先进行缩放处理，即可正常显示了。

比较核心的东西上面都已经讲完了，全部的代码可以访问下面的链接，或是点击最后的阅读原文下载。里面的LBF模型文件还有DNN的模型文件都在代码里面。

源码地址

https://github.com/Vaccae/OpenCVDnnfacedecet.git

完

扫描二维码

获取更多精彩

微卡智享

「 往期文章 」

牛气冲天

OpenCV源码Android端编译，用时三天，我编了个寂寞。。。

.Net5中Swagger采用Attribute方式实现Api隐藏