人脸检测矫正-MTCNN(包含数据、模型训练、模型测试、模型部署)

Part1 数据

数据集通过网址 http://shuoyang1213.me/WIDERFACE/下载。

模型Pnet,Rnet 训练、测试选择使用的数据 WIDER FACE 。

WIDER FACE简介：数据标签只有bbox，没有landmark。注释：bbox [x1,y1,width,height]

模型Onet训练采用的数据通过网址http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm 下载

CNN_FacePoint简介 ：数据标签有bbox，以及landmark。注释：bbox[x1,x2,y1,y2]

landmark [x1,y1,x2,y2,x3,y3,x4,y4,x5,y5]

坑1：注意标签每个坐标含义。

Part2 模型训练

工程需要做一个人脸识别的东东，所以准备把人脸识别的每块内容都认真的走一遍，步骤大概是：人脸检测 - 人脸矫正 - 活体检测 - 质量评估 - 人脸识别  ,为了快速搞定，利用别人的代码就是最便捷的方法，自己选择pytorch的一个版本。网址为：https://github.com/Sierkinhane/mtcnn-pytorch。

这里大概介绍一下mtcnn的工作原理

mtcnn网络结构如图1所示：

图1 

他是一种多任务级联的网络，每一个网络都包含人脸分类任务，边界框回归任务、人脸关键点回归任务。P-Net 主要用来产生候选框可能的位置，R-Net 再过滤掉一部分候选框，O-Net 产生最终的候选框和landmark位置。

注意：PNet 输出的是map格式，而Rnet和ONet的输出的是条状的，原因是因为实际测试时，PNet输入图片大小是不固定的，所以维度是不固定的不能接入全连接层。

测试时，一张图片先通过PNet,按照一个比例系数进行resize 得到图片金字塔，分别在每张图片上面进行边界框预测输出，预测的方法是根据class_map上大于阈值的保留下来，作为边界框的左上角坐标，坐标通过resize 相应的系数映射回原图，右下角的坐标=(坐上角的坐标*stirde+12)/scale。对应红色的部分。stride =2 猜测比如输入一张256大小的图片，最后输出类别、位置信息时图像大小变为123 ，原图是特征图的二倍关系。

boundingbox = np.vstack([np.round((stride * t_index[1]) / scale),            # x1 of prediction box in original image
                         np.round((stride * t_index[0]) / scale),            # y1 of prediction box in original image
                         np.round((stride * t_index[1] + cellsize) / scale), # x2 of prediction box in original image
                         np.round((stride * t_index[0] + cellsize) / scale), # y2 of prediction box in original image #reconstruct the box in original image
                         score,
                         reg])

reg 是网络输出框的相对偏移的位置信息，最终的坐标输出以x1为例，为x1 = np.round((stride * t_index[1]) / scale)+ (np.round((stride * t_index[1] + cellsize) / scale)-np.round((stride * t_index[1]) / scale)）*reg[:,0]

 RNet输入是Pnet的输出，RNet主要会相对于Pnet输出位置进行调整。ONet同Rnet。landmark 输出的是相对位置，是相对boundingbox的相对位置坐标。

回到模型训练上，PNet,RNet,ONet模型的输入分别是12*12，24*24，48*48。输出的类别共包含0-负样本，1-正样本，-1-part样本就是部分含有正样本的数据，-2-landmark 样本。

需要注意的是模型训练的数据种类标签是否正确，否则训练的时候会出现某一个loss的梯度爆炸，原文作者代码的iou 计算输入有些问题，导致在训练ONet正负样本不均衡。

目前训练的PNet,RNet,ONet,比例大致是4：7：15 。

目前模型训练结果出现的问题：

1、框回归的不稳，抖动情况非常严重。这个问题目前没有解决。不知道该怎样优化。可能数据量还是不够。

2、关于参数初始化的问题，发现参数初始化不对loss降不太下去，现在每次训练都是在自己某一次实验结果上开始训练的。

Part3 模型测试

自己写了个测试程序，分别统计检出率和准确率。目前iou=0.65,检出和准确率在0.7以上。可以通过这个小程序进行模型筛选。代码如下：

import cv2
import torch
from mtcnn.core.detect import create_mtcnn_net, MtcnnDetector
import numpy as np
import os
import mtcnn.core.utils as utils

testfiles = "anno_train.txt"
testdata = "face_landmark/CNN_FacePoint"
label = []

showlabel = True

with open(testfiles, "r") as f:
    read = f.readlines()
print("test Data num is :", len(read))
pnet, rnet, onet = create_mtcnn_net(p_model_path="pnet_epoch.pt",
                                    r_model_path="rnet_epoch.pt",
                                    o_model_path="onet_epoch.pt",
                                    use_cuda = False)
mtcnn_detector = MtcnnDetector(pnet=pnet, rnet=rnet, onet=onet, min_face_size=12)

pos = 0
numsdetect = 0
for file in read:
    #print("file is :", file)
    file = file.strip().split(" ")
    img = cv2.imread(os.path.join(testdata, file[0].replace("\\", "/")))
    print(os.path.join(testdata, file[0].replace("\\", "/")))
    print("img.shape is :", img.shape)
    #print(file[0])
    boxes_align_r, bboxs, landmarks = mtcnn_detector.detect_face(img)
    gtbox = list(map(float, file[1:5]))
    print("gtbox is :", gtbox)
    gtlandmarks = list(map(float, file[5:]))
    numdetect = len(bboxs)
    numsdetect = numsdetect + numdetect
    gtbox = np.array(gtbox, dtype=np.float32).reshape(-1, 4)
    for box in bboxs:
        if showlabel:
            cv2.rectangle(img, (int(box[0]), int(box[1])), (int(box[2]), int(box[3])), (0, 0, 255), 2, 1)
            #cv2.rectangle(img, (int(gtbox[0][0]), int(gtbox[0][2])), (int(gtbox[0][1]), int(gtbox[0][3])), (255, 0, 0), 2, 1)
            p1 = int(gtbox[0][0])+int(gtbox[0][2])
            p2 = int(gtbox[0][1])+int(gtbox[0][3])
            print("p1", int(gtbox[0][0]), int(gtbox[0][1]),p1,p2)
            cv2.rectangle(img, (int(gtbox[0][0]), int(gtbox[0][1])), (p1, p2), (255, 0, 0),
                          2, 1)
        iou = utils.IoU1(box, gtbox)
        print("iou is :", iou)
        if iou > 0.65:

            pos = pos + 1
    if showlabel:
        cv2.imshow("img", img)
        cv2.waitKey(1000)
print("recall is : %s accuracy is : %s "%(pos/len(read),pos/numsdetect))