动机:
现有的普通CNNs由于标签空间较大,且存在属性纠缠和关联,不能直接应用于多属性数据的处理。我们通过充分利用不同属性之间的相关性来解决这些阻碍CNNs多属性分类发展的挑战。采用多分支结构对不同区域的属性进行功能调用。除了基于各分支本身的预测外,还利用各分支的上下文信息进行决策。开发了属性感知池来集成这两种信息。因此,利用上下文信息可以准确地识别出与他人模糊或纠结在一起的属性。
贡献:
提出了一种新的行人多属性识别CNN架构,通过探索不同属性之间的相关性,即属性共现先验。特别是一些在训练集中经常同时出现的属性,也很有可能在测试集中同时出现。例如,给一个头发很长,穿着裙子和高跟鞋的行人做注释,可以很容易地推断出他的性别属性为女性。基于这一深刻的观察,开发了一种新的属性感知池方法(AAP)来集成来自不同预测的信息,即CoCNN。更具体地说,基础网络遵循多分支体系结构,然后收集这些分支中的上下文信息来估计属性概率,然后将其与每个分支的个体估计相结合,以改进得到的决策。
框架:
输入实例被输入到一个共享的CNN中,并使用多分支架构产生多个预测。然后,利用共现先验来整合这些条件概率,从而产生一个属性感知的池估计。
具体流程为以一个多分支CNN为基础架构,首先通过训练集构造两个共现表,利用每个分支的上下文信息来完成每个分支本身的决策,既挖掘了不同人体部位的属性,又研究了不同分支之间的关系。
下图是对应的多分支架构。
给定一个属性获取另一个属性的条件概率(PA-100K)颜色越深表示数值越小。
AAP算法
实验:
结论:多分支架构通过关注人体的不同部位来改善三个数据集的度量。利用属性感知池,CoCNN进一步将准确率提高到更高的水平,CoCNN很好地纠正了多分支模型中的错误预测。
需要阅读文献中的概率公式来了解如何获取的共现表(co-occurrence tables)