openpose原理以及源码分析

链接: link.
链接: link
步骤：2019年论文
1.输入人物图
2.用vgg16生成feature map
3.给神经网络输入feature map F得到第一阶段PAF（如图所示）
4.输入F和上阶段的PAF，然后迭代Tp，得到最终结果LTp
5.输入F和LTp得到第一阶段STp(condfidence map)骨骼节点图
6.迭代Tc次得到最终confidence map
7.以groudtruth（为图像标注的PAF和confidence map）为标签，loss function L和lossfunctuion S训练模型
8.以二分图和匈牙利匹配算法画出人的骨骼框架。
要明白上述流程，首先得明白什么叫做paf，什么叫做confidence map，confidence map是围绕关键点的高斯分布，而paf是在关键点连线矩形区域之间的点，以及由点出发的向量。
标注的数据为：
confidence map，每种part都有一个单独的跟图片大小一致的通道做为标注的数据，而每个通道上被标注的像素点，是每种part的confidence map的中心点，也就是max值。
最终的匹配，需要二分图的一个权重，权重就是由paf所提供，paf的计算公式就是由所有在俩个part线段区域内的点所发出的所有向量投影到该线段的和求平均值。然后通过二分图，使用匈牙利匹配算法进行part到part之间的匹配，然后画出人体。