【深度学习】MTCNN总结

目录

MTCNN总结

1、网络结构及思想

1.1 总体流程

1.2 整体网络结构

1.3 P网络

1.4 R网络

1.5 O网络

1.6 级联思想

1.7 MTCNN优缺点

2 整体流程

2.1 生成样本

2.2 编写网络结构

2.3 训练网络

2.4 使用过程

3 问题及解决方法

4、模型效果

5 其他拓展

---

MTCNN总结

1、网络结构及思想

1.1 总体流程

由仿生学启发，侦测时从左至右、从上至下一个个的数人脸。

生成样本（检查生成）——》复现模型——》处理数据——》开始训练——》编写前向过程代码——》测试

 

1.2 整体网络结构

 

采用级联的思想，对每层网络设置不同的置信度阈值、IOU阈值，三层网络层层筛选。每个网络处理问题复杂度不同网络结构不同。

 

1.3 P网络

1.3.1 P网络结构

1.3.2 P网络思想

       由于P网络未知一张图片含有多少人脸，所以使用全卷积网络接收任意大小的图片，将通道数作为输出特征数，使用图像金字塔缩放图片（最短边长大于12），并设卷积核步长为1不放过任何一个可能性。

       采用12x12的大核决定网络侦测到的最小人脸。以固定大小框切取同样大小图片（输出固定）。

      使用卷积网络实现切割12x12图片，通过多层小卷积核神经网络的特征提取等价于大核单层神经网络（感受野相同），抽象能力更强，特征提取更精细，参数更少，网络运行更快。

      使用偏移量的大小作为训练损失，使得网络计算更方便更有利于训练。

      对不同任务设置不同的损失函数，增强学习的针对性。增加人脸五官特征任务，增加网络学习任务的复杂性，清晰网络学习的方向。每增加一个损失，会提升神经网络特征提取的能力，促进网络模型优化。

 

1.4 R网络

1.4.1 R网络结构

1.4.2 R网络设计思想

       通过多层小卷积核神经网络的特征提取等价于大核单层神经网络（感受野相同）。

       由于输入为24 x 24固定大小的图片，输出则可使用全连接提取特征（在此处使用卷积核提取特征相同）。

 

1.5 O网络

1.5.1 O网络结构

1.5.2 O网络设计思想

       通过多层小卷积核神经网络的特征提取等价于大核单层神经网络（感受野相同）。

       由于输入为48 x 28固定大小的图片，输出则可使用全连接提取特征（在此处使用卷积核提取特征相同）。

 

1.6 级联思想

      逐级增加任务的难度进行筛选，逐步减少噪声对网络训练的影响。

      首先对一整张图片先输入P网络进行粗定位，先定位出人脸的大体的位置(bouding box)。然后对bouding box进行补全、裁剪和Resize，使网络侦测的图片范围变小，输入的数据的噪声就会减少，然后我们在把裁剪后的图片，作为R、O网络的输入，有利于网络训练提高精度。

 

1.7 MTCNN优缺点

 优点：

       1、 采用级联的思想一步步筛选出符合标准的样本。将一个大的网络拆解成3个小型网络，比单个网络多出2个置信度损害函数、人脸位置偏移量损失函数和五官偏移量损失函数，增加了2倍的损失函数量。使得整体参数量减少，运算更快。

        2、使用小的卷积核代替大的卷积核，使其感受野相同，但参数量更少，运算更快。

       3、采用相对坐标（偏移量）

缺点：

        P网络需要做图像金字塔然后再传入网络计算需要较长时间。使用过程时，P网络大概占85%左右的时间。

 

2 整体流程

2.1 生成样本

2.1.1 样本参考信息

    数据集：

      1）WIDER FACE：泛化性强，召回率高

       2）CelebA：精度高，准确率高

    首先使用训练好的MTCNN或采用手工标注，以及CelebA数据集制作出原始数据，。

    样本参考占比：（样本IOU范围需依据实际样本进行调整）

IOU范围	样本类型	标签
0 ~ 0.3	非人脸	置信度为0（不参与计算偏移量损失）
0.3 ~ 0.4	地标（缓冲区，防止误判）
0.4 ~ 0.65	Part人脸	置信度为2（不参与计算置信度损失）
0.65 ~ 1	人脸	置信度为1

2.1.2 生成样本注意点

       1、生成48x48、24x24、12x12正方形样本，采用中心点偏移的方式，偏移量为0.2倍的w和h；样本框原始大小为0.8*min(w,h)~1.25*max(w,h)的边长。

       2、在生成负样本时，原始会出现代码会使负样本出现部分人脸的情况，加入IOU_MIN（IOU计算时isMin=True）判定便回剔除这种情况。

       3、文件的读取应按照实际情况进行调整。抠图可放在if-else判断句里面，对于不必要的图片不保存，稍微减少文件操作。

       4、负样本的生成则可使用while 循环强制生成足量的负样本。

       5、每次调整代码后，要使用1000张原始数据生成各类样本进行查看，确保比例和样本的正确性。

       6、样本生成还得保持异常数据和越界，生成后保存在json文件中。

       7、对于文件操作最好使用try-catch进行异常处理。

 

2.2 编写网络结构

       在编写代码时，一步步查看网络输出形状是否和上图相同再做出相应调整。主要在于步长、卷积核和池化核大小。

       编写TrainSet（封装训练）原因：1）数据集无相关性 2）过程大致相同。在其中使用reshape将P网络输出的结构变成R、O网络相似的输出结构。

 

2.3 训练网络

       MTCNN模型训练简单，直接使用P、R、O网络对应大小的人脸图片进行训练。

 

2.4 使用过程

       任意大小的图片传入P网络先使用12x12的卷积核对原图初次特征提取；在将图片等比缩放至原图的0.7倍，传入网络进行特征提取直至图片的最小边长小于12。将P网络所得到的框进行NMS（IOU的isMin=False）处理剔除框在的框，然后将剩余的框进行反算、补全（为保证图像Resize时特征不变形，采用最大边长以原框中心点对图片进行填充）、抠图（切片）、Resize传入R网络。R网络结构接收到P网络输出的一批同等大小的图片，进行特征提取、NMS（IOU的isMin=False）、反算。O网络接收R网络输出的一批同等大小的图片，进行特征提取、NMS（IOU的isMin=True）、反算。

 

3 问题及解决方法

1、在实际生成时，对中心点使用了0.5倍w的，导致部分样本生成过多、比例过大或生成的负样本包含部分人脸

       原因：偏移范围过大，IOU值主要在Part人脸的范围内；IOU只计算了一种，没有计算最小IOU值。

       解决方法：使用两种IOU进行筛选，同时满足条件时进行保存样本。最后大致保持了14:3:3的负样本：部分人脸样本：正样本比例。

2、预测框一直在非人脸区域

       原因：测试阶段加载数据集的时候，读取图片使用了CV2读取图片，CV2读取读片默认是BGR格式的，而训练使用的RGB格式图片

       解决方法：使用了cv2读取一定要转换成和训练时相同的通道排序RGB。

3、单张人脸存在多个置信度为1的框

       原因：在生成样本时，我们将偏移框的置信度视为1来代替实际框所在的位置；

       解决方法：增大IOU值，将正样本的偏移量减小，使其尽量的靠近于实际框的位置。

4、文件夹中的总体数量对dataloader存在一定的影响，超过20w之后会变得很慢 （刘同学）

       原因：应该框架问题

       解决方法：使用多个文件夹存储数据

5、MTCNN中P网络添加BN层，训练很快（大概15分钟一轮，100w张），但会出现大量无效框，期间测试P网络做NMS后出现11w候选框的情况

       原因：在测试时为添加net.eval()函数

       解决方法：剔除BN层或在测试时添加net.eval()函数

6、P网络运行速度对整个模型的影响较大；R、O网络抠图文件操作耗费时间；for循环串行耗费时间；硬件问题加剧模型耗时

       原因：图像金字塔需要耗费很多时间，反算没使用Tensor和矩阵进行计算；抠图未使用切片完成；一般越高级的语言运行越慢。

       解决方法：根据实际需要调整缩放比；使用tensor和矩阵运算优化代码。

       硬件问题：

       MTCNN的第一阶段，图像金字塔会反反复复地很多次调用一个很浅层的P-NET网络，导致数据会反反复复地从内存COPY到显存，又从显存COPY到内存，而这个复制操作消耗很大，甚至比计算本身耗时。

7、PIL和cv2的resize的插值法不同，对网络模型也存在一定影响（王同学）

       解决方法：一直使用同一种框架进行实现。或者查明训练时图片resize所用插值法，同步使用就行。

8、缩放比例为什么选择0.709（刘同学）

       原因：比例较大时，可能会导致部分人脸缺失；比例较小时，会导致P网络速度变慢，使得模型性能较差。

       缩放比例0.709 ≈ sqrt(2)/2，这样宽高变为原来的sqrt(2)/2，面积就变为原来的1/2。并且从比MTCNN更早提出的级联人脸检测CVPR2015_cascade CNN（http://users.eecs.northwestern.edu/~xsh835/assets/cvpr2015_cascnn.pdf）的实现中也能找到端倪。

9、为啥使用相对坐标？（刘同学）

       原因：归一化偏移量；放大R、O网络候选区域；猜测：若使用绝对坐标会使输出范围变大，不利于梯度传播，而且我们期望在网络中传输的量值属于[-1， 1]之间。

              

              边框回归：边框回归(Bounding Box Regression)详解

              对于窗口一般使用四维向量(x,y,w,h) 来表示，分别表示窗口的中心点坐标和宽高。 对于下图, 红色的框 P 代表原始的Proposal, 绿色的框 G 代表目标的 Ground Truth， 我们的目标是寻找一种关系使得输入原始的窗口 P 经过映射得到一个跟真实窗口 G 更接近的回归窗口

10、MTCNN为什么使用PReLU做激活函数，而不是ReLU？

       原因：ReLU函数会将负半轴特征直接丢弃，对网络来讲数据归一化至在 [-1, 1] 更有利于训练。

11、损失函数的选择

       原因：对于分类任务使用y=sigmoid输出函数和交叉熵损失函数进行优化。Pytorch框架交叉熵损失函数最多接收二维数据进行计算。

       对于回归任务使用y=x和MSE（均方差损失）函数进行优化。

       分类任务由于均方差对参数的偏导的结果都乘了sigmoid的导数，而sigmoid导数在其变量值很大或很小时趋近于0，所以偏导数很有可能接近于0。而交叉熵对参数的偏导就没有sigmoid导数，就不像MSE那么容易出现梯度消失的问题。

12、困难样本的训练

       解决方法：部分博客中提到采用损失排前70%进行网络训练。

13、原代码为什么把图片输入模型的时候要对每个元素做(x – 127.5)/128的操作？（刘同学）

       原因：归一化操作，加快收敛速度。由于图片每个像素点上是[0, 255]的数，都是非负数，对每个像素点做(x – 127.5)/128，可以把[0, 255]映射为(-1, 1)。具体的理论原因可以自行搜索，但实践中发现，有正有负的输入，收敛速度更快。

       训练时候输入的图片需要先做这样的预处理，推断的时候也需要做这样的预处理才行。

       猜测：是因为PReLU特性导致网络加快的吗？

14、级联思想解决问题

       1）P网络过于简单的问题 2） 排序冗余数据

15、回归损失比分类难训练

       原因：输出比分类多，任务更复杂

       解决方法：对损失可以进行加权，使某一损失优化力度更大，各损失权重和为1。

16、对于某些可能出现异常的区域如：网络输出为空、坐标越界等，要加入处理语句

17、因为P网络侦测出来的框太多，导致整个侦测速度变慢，现在继续训练提高精度，P网络损失为0.005时侦测一张图片有200个候选框，但是损失为0.01的时候有4000候选框，大量的框运算较慢拖慢了速度，所以继续训练提高精度尝试（刘同学）

       原因：P网络没有训练好

       解决方法：训练网络出来效果之后，发现和同学的速度差别较大，最后定位到是因为P网络返回了4000多个候选框，而同学只是返回了200多候选框，预测可能是因为P

       网络损失没有下去导致的预测框过多

18、图坐标在左上角，计算时需要减一

19、P网络反算后的框直接resize会导致人物变形——>对图像进行填充（使原图形区域在正中），区域越完整信息越多，可能更准确

20、错误检察步骤错误检察步骤

       1）反算：（w,  h）——>（h， w）

       2）观察样本

       3）标签：偏移量反算查看是否正确

       4）保留resize前的样本坐标进行绘制矩形查看

       5）在训练时传入网络的图片是否正确

21、想要通过将IOU计算迁移到GPU上面实现加速，但是测试没有效果，反而会变慢，无效（刘同学，黄同学）

对比测试

Gpu之前	Gpu之后
p_net:0.15590357780456543	p_net:0.31

       可以看到时间没有减少反而还有增加。

       原因：可能是因为NMS内部需要大量循环操作，而循环操作是在cpu上，频繁的将cpu的数据迁移到gpu上面，导致数据频繁在cpu和gpu空间之间切换，加长了耗时，因而增加了时间。

22、img = cv2.imread(img_path, cv2.COLOR_BGR2RGB)；不会报错，但图片转不了RGB。（黄同学）

       解决方法：使用cvtcolour函数进行转换。

23、iou计算时，只判断面积小于0为0，没有考虑边长都为0的情况，导致nms时框变少（彭同学）

       解决方法：添加边长和0判断取较大值。

24、pytorch的排序方法会出现问题，使用numpy进行排序。numpy的argsort对于值相等的会保留原先的顺序而pytorch不会。

25、对于某些实际应用可以先resize在进行侦测。

 

4、模型效果

原始图片：

P网络输出：

R网络输出：

O网络输出：

共检测：8个人脸

总耗时：0.23秒 P网络耗时：0.12秒  R网络耗时：0.096秒 O网络耗时：0.012秒

 

5 其他拓展

 PC端使用手机摄像头作为摄像头，使用cv2读取视频流，然后每4帧检测一次效果比较流畅，如何配置：

1、安卓手机下载IP摄像头app

2、第二部打开应用，点击下面的“打开IP摄像头服务器”

第二幅图中有个用户名和密码 默认admin admin

第三幅图中有个地址 http://192.168.0.189:8081/video 

《等会直接在浏览器输入这个网址测试》

3、此时app内设置完毕，开始去手机设置里面设置

4、然后手机使用usb连接电脑，打开手机设置，打开共享网络，通过usb共享网络

5、开启之后，代码中通过cv2调用上一步在浏览器中输入的地址

前面加上用户名和密码类似下面这样：http://admin:admin@192.168.0.189:8081/video

6、运行即可

作者：阳一子

本文地址：https://blog.csdn.net/qq_279033270/article/details/109298658