Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing

Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing 论文笔记

一、提出问题

• 现存的数据集只有有限的图像和标注，缺乏人类外观的多变性；
• 现有的人体解析方法的一个主要缺陷是缺乏对人体姿态的考虑，虽然已经有一些方法将姿态估计引入人体解析问题中，但是姿态估计标注的人体关节与人体解析中的人体关节是不一致的（例如，人体解析中只有在没有任何衣服覆盖的情况下，手臂才被标记为ARM，而姿态标注则与衣服无关），所以使用姿态估计的关节标注去指导人体解析问题是不够准确的。

二、论文贡献

• 提出了一种新的大规模基准测试和评估协议来推进人体解析研究，在19个语义部件标签上提供了50462幅具有像素级标注的图像；
• 通过在基准测试上的实验，对现有的人工解析方法进行了详细的分析，以了解这些方法的优势与不足；
• 提出了一种新的自监督结构敏感学习框架，该框架能够显式地增强解析结果与人的关节结构之间的一致性。在现有的pascal-Person部分数据集上和新的LIP数据集上，本文提出的框架明显优于以前的方法。

三、LIP数据集

图 3-1 LI