开源代码
pytorch & onnx:https://github.com/polarisZhao/PFLD-pytorch
论文核心思想:
- 仿照densenet结构,采用mobilenet-v2作为主干网络,最后输出预测的fc层的输入为主干网络不同层次的特征(应该是整个工作work的最关键点)
- 姿态,大表情,模糊等人脸对于关键点的预测是一种挑战,除了通过增加这些种类的数据,论文提出了一个动态平衡loss的方法,提升对于“预测难例”的学习。具体,通过人脸姿态的实现,根据一般性应该人脸姿态越大预测难度也越大,因此加大了这部分数据loss的权重
- 增加一个姿态的辅助训练网络
结论
一些想法
通过fc层连接各不同层次的特征应该是整个工作work的最关键点)