多任务学习

• 多任务学习

以人脸特征点定位中的TCDCN模型[1]为例子，该模型思想：通过一些多样的精细的任务，来优化提升特征点定位精度。就是在人脸特征点检测的时候，同时进行多个任务的学习，这些子任务包括：是否带眼镜，是否微笑和脸部的朝向等分类任务。使用这些辅助的属性不仅可以起到一次性获取感兴趣的属性，更重要的是子任务更好的辅助定位人脸特征点，根据论文结果，这样确实对人脸特征点检测有一定的帮助。该模型优势：1）优于现有的方法，特别是在处理一些遮挡和大姿态的面部图像时。2）与现有的state-of-the-art的级联深度模型方法相比，其动态的降低了模型的复杂度。

图7：TCDCN的网络结构

损失函数就是不同任务的损失函数直接相加。而在人脸特征点检测的任务中，不同的任务具有不同的loss，特征点检测是平方和误差，而其它分类任务是交叉熵损失，因此最后的loss就是：

目前的深度学习框架中，广泛采用多任务学习框架中，比如Mask RCNN[2]同时做目标的检测识别与实例分割；目标识别中YOLO同时做目标位置的回归与类别识别等。

 

                                                          图8：Mask R-CNN的检测识别与分割结果

---

[1] Zhang, Zhanpeng, et al. Facial Landmark Detection by Deep Multi-task Learning. Computer Vision – ECCV 2014. Springer International Publishing, 2014:94-108.

[2] He, Kaiming, et al. "Mask R-CNN." IEEE International Conference on Computer Vision IEEE, 2017:2980-2988.