基于RetinaFace魔改加二维码检测分支

前言

基于RetinaFace训练一个即检测人脸又检测二维码的算法，人脸包含5 landmark对齐。
代码已开源：GitHub

一、多任务学习

多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。如即检测人脸又回归关键点，即识别人脸属性又回归头部姿态，即做检测又做分类，这些都是多任务学习。backbone参数共享，模型head优化多个loss函数。

二、算法需求

1.一个模型既能检测人脸框，人脸关键点，还能检测二维码定位

Retinaface本身就是一个很好的人脸检测算法，并且回归关键点，那么再加上一个二维码检测分支也是可以的，二维码是方形的，与人脸类似无需重新考虑anchor设置问题。
但是不同于一般的多目标检测算法，我们还需要对人脸做五点对齐，那么我们改如何设计呢？

三、开始设计

人脸直接使用retinaface标注的Wider-face，二维码寻找开源的或自己标注（我有标注好voc格式的二维码数据集）将二者merge。接下来是代码的修改，对照Retinanet多目标检测，我们只需对人脸和二维码做一个mask，当输入是人脸时进行关键点损失函数优化，当输入是二维码是不进行损失函数优化。这样我们就能训练classification，Box regression，landmark对齐的优化了。
一开始考虑模型可能收敛不好，但是二维码特征和场景都简单，经过一段训练调参，最后模型在wider-face测试精度easy=90%+，medium=88%+， 二维码没有测试集但是实际使用过程中效果还是很好的。

总结

此次记录的是一个多任务学习的一个尝试，并且效果很好，文章很多实现细节没有讲，有兴趣的可以找我私聊一起交流。