复杂场景解析的常见问题

1. 语境关系不匹配
语境关系是普遍存在的，尤其在对复杂场景的理解中极为重要，有些物体常常是一起出现的，例如，飞机很可能在跑道上或在空中飞行，而不是在公路上。对于图中的第一行示例，FCN根据外观将黄色框中的船预测为“汽车”，但众所周知，汽车很少在河上行驶。所以，缺乏收集语境信息的能力会增大错误分类的概率。
2. 类别混淆 ADE20K数据集中有许多类别标签在分类时容易出现混淆。例如：田野和土地；山脉和丘陵；墙、房子、建筑物和摩天大楼，它们的外观十分相似。在图2的第二行中，对于框中的物体，FCN预测其部分是摩天大楼，部分是建筑物。这些结果是不正确的，框中的整个物体只能要么是摩天大楼，要么是建筑物，但不能两者兼有，而利用类别之间的关系即可解决上述问题。

3. 不明显的类别 通常来说，场景中包含着任意大小的物体。一些小的东西，比如路灯和标志牌，尽管它们可能很重要，但很难被找到。相反，大的物体或东西可能会超过fcn的感受野，从而导致的预测不连续性。如图2第三行所示，枕头与床单外观相似，忽略全局场景类别，枕头可能无法被解析分割出来。要提高对非常小或非常大的对象的识别能力，应该特别注意包含不明显类别物体的不同子区域。

总结：许多错误都与不同感受野获取的全局信息和语境关系有着部分甚至是完全的关联。因此，一个拥有适当场景级全局信息的深度网络可以大大提高场景解析的能力。

转载链接：
链接：https://www.jianshu.com/p/57329a0b7a2d