超详细的人脸检测：MTCNN代码分析，手把手带你从零开始码代码

前言

之前我发过MTCNN的原理分析，不了解的朋友可以看看深刻理解MTCNN原理, 超级详细，从零开始做人脸检测。Tensorflow2实现
授人以鱼，不如授人以渔，本文与其他代码分析的文章不一样，本文不会涉及原理过多的东西，原理参照我的上一片文章,主要以代码段的思路讲解，从最开始得到预训练权重后，怎么解析参数，怎么一步一步构建代码框架。可以执行获得最后结果，优化部分留给读者自行钻研！本文尽量不出现大段代码。**基于Tensorflow2.0/keras。讲的主要是思路，别的框架读者一样可以写出来
我的参考代码：https://github.com/Luo-DH/MTCNN_test欢迎给我个star，如果你喜欢的话，欢迎给我点个赞，加个关注！！！

---

准备

• 我们需要pnet.h5, rnet.h5, onet.h5，我的github里面可以拿到这三个网络的预训练权重
• 还需要一个能打代码的东西，可以是记事本，可以是vim，可以是pycharm，推荐使用jupyter notebook,方便看到每一步的结果。
• 热情，毅力

开始

思路

1. 环境搭建
2. 整体流程

---

环境搭建

推荐大家使用虚拟环境，如果你是小白不了解虚拟环境，可以安装anaconda。我以前用的anaconda，后来用上virtualenvwrapper就再也不想用anaconda了。害！！！

1. 搭建环境LINUX

# 新建一个文件夹
mkdir mtcnn_test
# 进入文件夹目录
cd mtcnn_test
# 查看文件夹的内容
ll # 是个空文件夹
# 创建虚拟环境
mkvirtualenv ENV_TF2
# 安装相关的包和模块
pip install tensorflow
pip install opencv-python
pip install numpy
pip install notebook

使用windows或者pycharm类似，只需要将相关的包和模块安装上就行.

2. 整体流程

• 获取图片
• 传入pnet网络
• 将pnet网络获得的输出传入rnet网络
• 将rnet网络获得的输出传入onet网络
• 得到最后输出的矩形框

---

获取图片

import cv2
image = cv2.imread("./face.jpg")# 读取的图片最好是正方形，
                                # 虽然mtcnn支持不同尺寸的图片输入，我们开始
                                # 使用正方形比较直观

推荐使用opencv读取图片。主要是我个人用的习惯而已啦！当然可以使用其他方式读取图片。需要注意的是opencv读取的图片颜色通道是BGR，而我们需要获得RGB顺序通道的图片.

# 如果是用opencv读取图片，一定要走这一步
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

图像金字塔

论文中提到将图像进行不同比例的缩放，以便于获得不同大小的人脸，具体原因可以看我之前的博客，有详细说明。

factor = 0.709 比例因子，一般用这个比例进行缩放

• 获得缩放比例

factor = 0.709
image_width = image.shape[0]
scales = [(factor**i) for i in range(0, 10) if (factor**i)*image_width > 12]

• 将图片进行缩放

#创建一个列表，用于存放pnet输入所需要的图片
imgs = []
for scale in scales:
    new_width = int(image.shape[0] * scale) # 必须是整数才能作为新图像的边长
    new_height = int(image.shape[1] * scale)
    # 进行缩放
    img_ =  cv2.resize(image.copy(), (new_width, new_height))
	
    imgs.append(img_)
	

图片预处理

pnet_need_imgs = []
for img in imgs:
    img = (img - 127.5)/127.5 # 归一化
	# 归一化的具体原因此处不展开
    # 修改图片的维数为四维(网络的输入必须是思维)
    img = img.reshape(1, *img.shape)
    # shape=(1, x, x, 3)
    pnet_need_imgs.append(img)# 获得pnet的输入

目前为止我们已经得到了pnet的输入，另外一种获得方法可以参考我github上的代码，效率会更高。之后我们来构建pnet网络的结构和读取预训练权重

pnet网络初始化

这一部分不需要理解，就只是按照论文的网络架构读取，读者可以直接复制

import tensorflow as tf
print("Tensorflow Version: {}".format(tf.__version__)) # 2.0以上

    def create_model():
        """定义PNet网络的架构"""
        input = tf.keras.Input(shape=[None, None, 3])
        x = tf.keras.layers.Conv2D(10, (3, 3), strides=1,padding='valid', name='conv1')(input)
        x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU1')(x)
        x = tf.keras.layers.MaxPooling2D()(x)
        x = tf.keras.layers.Conv2D(16, (3, 3), strides=1,padding='valid',name='conv2')(x)
        x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU2')(x)
        x = tf.keras.layers.Conv2D(32, (3, 3),strides=1, padding='valid', name='conv3')(x)
        x = tf.keras.layers.PReLU(shared_axes=[1, 2],name='PReLU3')(x)

        classifier = tf.keras.layers.Conv2D(2, (1, 1),activation='softmax',name='conv4-1')(x)
        bbox_regress = tf.keras.layers.Conv2D(4, (1, 1),name='conv4-2')(x)

        model = tf.keras.models.Model([input], [classifier, bbox_regress])

        return model
    
    # 创建模型
    model = create_model()
    #model.summary() 可以看到网络的架构
    model.load_weights("./pnet.h5", by_names=True)# 读取权重，输入pnet.h5的地址

模型已经处理完毕，只需要把图片一张一张输进去就可以了

输入网络预测

outs = [] # 用来存放输出的结果
for img in pnet_need_imgs:
    # 一张一张图片输入
    out = model.predict(img)
    
    outs.append(out)

此时已经获得了pnet网络的输出结果，结果的具体含义参考我之前的博客，此处依旧不展开。下一步是解析这些输出结果

结果解析

out的内容包括了人脸的置信度还有对应的偏移量的值，我们只需要拿到置信度大于阈值的那个out，然后拿到这个out的偏移量，将偏移量加上坐标的值，就可以获得预测的人脸框

我用一个out举例子，上面得到的outs，只需要做个循环就可以得到结果

先获得人脸置信度

cls_prob = out[0][:, :, 1]
(x, y) = np.where(cls_prob > 0.5) # 假设阈值是0.5
scores= np.array(out[0][i, x, y, 1][np.newaxis, :].T) # 把阈值拿出来，后面需要用到
# 此时我们已经获得了大于阈值的位置
# 我们需要把对应位置的偏移量拿出来
offset = out[1][i, x, y]*12*(1/scale) # scale是这张图片对应的缩放比例，我要要把图像
																	  # 还原成原来的比例，所以需要乘以(1/scale)

获得对应的矩形框的坐标

# 获得矩形框的坐标
bbx = np.array((y, x)).T
# 左上角的坐标
left_top = np.fix(((bbx * 2) + 0) * (1/scale)) 
# 右下角的坐标
right_down = np.fix(((bbx * 2) + 11) * (1/scale))
# 获得矩形框的坐标 [x1, y1, x2, y2]
boundingbox = np.concatenate((left_top, right_down), axis=1)

将矩形框的坐标与偏移量的坐标相加

#将矩形框和偏移量相加
boundingbox = boundingbox + offset

此时我们得到的矩形框坐标[x1,y1,x2,y2]就是解析过后的值，可是这个值仍然可能出现问题，比如出现负数或者x2>x1的情况，所以我们还需要简单处理一下

其他处理

# 把矩形框和得分放在一起，方便后面作非极大值抑制
boundingbox = np.concatenate((boundingbox, scores), axis=1)

处理就是将值简单的微调，都可以处理成函数，具体的函数可以参考我的代码，主要在src/Net.py中，主要是_nms(), _rect2square(), _trimming_frame()这三那个函数，就不放上来了，可以直接调用

rects = _rect2square(boundingbox)
rects = _trimming_frame(rects)
rects = _nms(rects, 0.7)

pnet总结

此时我们已经完全获取了pnet处理后得到的矩形框，读者可以用以下函数来查看所获得的矩形框

for rect in rects:
    img_ = cv2.rectangle(image.copy(), (int(rect[0]), int(rect[1])), (int(rect[0]), int(rect[1])), (0, 255, 0), 4)
    
    cv2.imshow("img_", img_)
    cv2.waitKey(0)
    cv2.destroyAllWIndows()

rnet部分

处理获得rnet输入所需要的图片

把pnet得到的矩形框在原图中截取出来

rnet_need_imgs = []
for rect in rects:

    tmp_roi = image.copy()[int(rect[1]): int(rect[3]), \
                           int(rect[0]): int(rect[2])]

    # resize成24x24大小
    tmp_roi = cv2.resize(tmp_roi, (24, 24))

    rnet_need_imgs.append(tmp_roi)

处理rnet网络结构

以下代码一样读者可以直接复制，基本没有可以修改的地方

def create_model(cls):
    """定义RNet网络的架构"""
    input = tf.keras.Input(shape=[24, 24, 3])
    x = tf.keras.layers.Conv2D(28, (3, 3), strides=1, padding='valid', name='conv1')(input)
    x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu1')(x)
    x = tf.keras.layers.MaxPooling2D(pool_size=3, strides=2, padding='same')(x)

    x = tf.keras.layers.Conv2D(48, (3, 3), strides=1, padding='valid', name='conv2')(x)
    x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu2')(x)
    x = tf.keras.layers.MaxPooling2D(pool_size=3, strides=2)(x)

    x = tf.keras.layers.Conv2D(64, (2, 2), strides=1, padding='valid', name='conv3')(x)
    x = tf.keras.layers.PReLU(shared_axes=[1, 2], name='prelu3')(x)

    x = tf.keras.layers.Permute((3, 2, 1))(x)
    x = tf.keras.layers.Flatten()(x)

    x = tf.keras.layers.Dense(128, name='conv4')(x)
    x = tf.keras.layers.PReLU(name='prelu4')(x)

    classifier = tf.keras.layers.Dense(2, activation='softmax', name='conv5-1')(x)
    bbox_regress = tf.keras.layers.Dense(4, name='conv5-2')(x)

    model = tf.keras.models.Model([input], [classifier, bbox_regress])

    return model

model = create_model()

model.load_weights("./rnet.h5", by_names=True)

输入网络进行预测

out = model.predict(rnet_need_imgs)

rnet不需要循环放入网络，图片被一次传入了网络，得到了所有的结果

处理结果

classifier = out[0]
x = np.where(classifier[:, 1] > 0.6) # 阈值设定为0.6

获取boundingbox的值有点复杂

# 获得相应位置的offset值
offset = out[1]
offset = offset[x, None]

dx1 = np.array(offset[0])[:, :, 0]
dy1 = np.array(offset[0])[:, :, 1]
dx2 = np.array(offset[0])[:, :, 2]
dy2 = np.array(offset[0])[:, :, 3]

# 我们需要用到pnet获得的矩形框的值
pnet_got_rects = np.array(rects)

通过pnet的rects，我们可以拿到对应的宽和高，用于还原图大小

x1 = np.array(pnet_got_rects[x][:, 0])[np.newaxis, :].T
y1 = np.array(pnet_got_rects[x][:, 1])[np.newaxis, :].T
x2 = np.array(pnet_got_rects[x][:, 2])[np.newaxis, :].T
y2 = np.array(pnet_got_rects[x][:, 3])[np.newaxis, :].T

w = x2 - x1
h = y2 - y1

new_x1 = np.fix(x1 + dx1*w)
new_x2 = np.fix(x2 + dx2*w)
new_y1 = np.fix(y1 + dy1*h)
new_y2 = np.fix(y2 + dy2*h)

score = np.array(classifier[x, 1]).T

boundingbox = np.concatenate((new_x1, 
                              new_y1, 
                              new_x2, 
                              new_y2, 
                              score), axis=1)

此时，我们已经得到了rnet的输出结果，我们需和pnet相同的处理

rects = _rect2square(boundingbox)
rects = _trimming_frame(rects)
rects = _nms(rects, 0.7)

rnet总结

我们已经获得了rnet的处理结果，和上面方法一样，可以画出图片查看以下

onet部分

---

留给读者思考，处理方式和rnet差不多，有疑问可以和我联系！

结语

代码可能有很多不清晰的地方，建议读者多看几次，特别是关于mtcnn原理的解读，更加方便看懂此篇文章。如果有疑问欢迎与我联系，如果对你有帮助，可以给我点个赞，加个关注，谢谢！

---

参考代码：https://github.com/Luo-DH/MTCNN_test