End-to-End:带有变压器的端到端可训练多实例姿势估计

End-to-End Trainable Multi-Instance Pose Estimation with Transformers
End-to-End:带有变压器的端到端可训练多实例姿势估计

链接PFD

我们提出了一种新的端到端可培训方法，用于结合卷积的多实例姿态估计带变压器的神经网络。我们投射多实例姿势图像估计作为直接集预测问题。受到端到端可训练对象检测的最新工作的启发对于变压器，我们使用变压器编码器-解码器架构以及双向匹配方案来直接使给定图像中所有个体的姿势回归。我们的模型被称为POse Estimation Transformer（POET）的人使用一种新颖的基于集合的全局损失，包括关键点损失，关键点可见性损失，中心损失和类损失。 POET的原因关于检测到的人与完整图像之间的关系上下文以直接并行地预测姿势。我们证明POET可以在具有挑战性的COCO关键点检测任务上实现高精度。就我们所知，此模型是第一种端到端可训练的多实例人体姿势估计方法。

https://arxiv.org/pdf/2103.12115.pdf