2021-10-13

Interpretable socioeconomic status inference from aerial imagery through urban patterns论文学习整理笔记

Title:

Interpretable socioeconomic status inference from aerial imagery through urban patterns

(从航空影像到城市模式的可解释社会经济地位推断)

Target:

城市化在推动经济活力和社会发展的同时，也会带来巨大的社会挑战。 自然灾害和污染的管理、将穷人排除在城市的社会经济结构之外以及随之而来的社会和经济不平等的激增已成为现代大都市需要解决的一些紧迫问题。 为这些挑战提供解决方案对于实现城市所拥有的经济和社会承诺并避免它们成为社会和政治不稳定的根源至关重要。

我们通过从航拍图像预测法国的社会经济地位并根据城市拓扑解释类激活映射来缩小这一差距。 我们希望表明，训练有素的模型忽略了城市阶层和社会经济地位之间存在的空间相关性，以得出他们的预测。这些结果为构建更具可解释性的模型铺平了道路，这可能有助于更好地跟踪和理解城市化及其后果。

我们的目标是：通过训练深度学习模型来研究这些模型学到的特征，试图揭示城市现有城市拓扑结构与高分辨率社会经济地图之间的任何现有相关性。

我们的工作旨在解决

(1) 从航拍图像推断与给定位置相关的 SES 。

(2) 推导这些图像的显着图，以找到模型的激活模式与底层城市之间的相关性 结构体。

Challenge:

通过向神经网络提供卫星图像，可以恢复与该地区相关的社会经济信息。 然而，这些模型缺乏解释样本中包含的视觉特征如何触发给定预测的能力。
之前的城市可持续性研究所使用的社会经济地图通常是粗粒度的（大约以平方公里为单位），最好的描述水平当然是由普查，从而阻碍任何详细分析。

依赖大量卫星和街道图像来训练深度学习模型，以根据视觉特征 或通过预测已知与财富相关的特征（例如夜间光照强度或汽车模型）来预测财富 在人口普查区域。通过使用与财富明确相关的特征，这些工作未能解释更经典的深度学习模型的输出，这些模型经过端到端训练以预测财富。

尽管很多方法的整体使用和可靠性很高，但以前的工作没有一致地研究这些模型学到的特征，也没有试图揭示城市现有城市拓扑结构与高分辨率社会经济地图之间的任何现有相关性。 模型的任务只是预测。

我们发现，在用我们的模型推断 SES 时，它忽略了土地利用和社会经济数据之间现有的相关性，而主要关注住宅区内包含的特征。

在解释我们的CNN过程中，依靠土地利用地图来解释我们的模型并非没有挑战。 我们的框架依赖于三层数据，这在发展中国家可能不容易获得，从而使其他方法更适合在这些环境中进行可解释的 SES 预测。 然而，我们的工作特别适合研究当前或类似数据集涵盖的广泛现代大都市的城市贫困。 此外，随着更高分辨率的卫星覆盖变得更加可用，土地覆盖分割的计算机视觉进步变得更好，这些数据集在未来可能会变得更加普遍，进一步增强了这项工作的适用性。 这些注意事项表明需要遵循的研究途径来探索不同的模型、分辨率和可解释性技术，以达到部署这些模型的最终目标，并对其内部机制有更全面的了解。

Data:

为了解决避免使用粗粒度描述社会经济地图这个问题，其他工作依赖于社会经济代理，主要来自大规模数字数据集，以提出准确和高度详细的社会经济状况 (SES) 估计。 这些包括通话详细记录和社交媒体甚至餐厅中的通信模式。

在本文中，我们建立在三个公开可用数据集的组合之上。 其中一张由国家地理信息研究所 (IGN) 发布，其中包含有关法国城市的航拍图像。 第二个是法国国家统计与经济研究所（INSEE）于 2019-21年提供的，提供了高分辨率的社会经济地图。第三个是欧洲环境署通过 2012 年欧盟城市地图集项目分享的关于欧盟国和欧洲自由贸易联盟国家 。 所有数据集都是公开的，可在 https://geoservices.ign.fr/documentation/diffusion/telechargement-donnees-libres.html#ortho-hr-sous-licence-ouverte、https://www.insee.fr 在线公开访问/fr/statistiques/4176290?sommaire=4176305 和https://land.copernicus.eu/local/urban-atlas/urban-atlas-2012。

从航空影像数据集下载的各个文件在 GitHub 中提供。 描绘原始数据的图显示在图1和图2中。 1、3 和 4 以及补充图 1。所有图和表均作为源数据提供在https://doi.org/10.6084/m9.figshare.12595067.v2。

Methods:

我们以从航拍图像预测给定位置的 SES，然后根据潜在的城市拓扑结构解释其激活图。 更准确地说，我们首先根据社会经济和土地利用数据以及航空图像对五个法国城市进行了完整描述。随后，在将航拍图像与相应的社会经济地图合并后，我们训练卷积神经网络 (CNN) 模型来准确预测有人居住的瓷砖的 SES。接下来，通过依赖梯度加权类激活映射 (Grad-CAM) 来计算属性图 ，我们生成高分辨率的类判别激活图，将其投影回原始图像并与土地覆盖使用数据。 该框架可以在以前很少见的尺度上推断 SES，同时还精确地指示模型用于预测的实际城市环境中包含的特征。

我们在本研究中的目标是通过

(1) 从开放数据源构建数据集以用于基于深度学习的城市解决方案，

(2) 提供基于 CNN 的框架，用于从空中预测社会经济状况。 五个法国城市的图像，

(3) 建立一种方法来解释学习的激活模式，通过将它们映射回原始航拍图像来推断 SES。

(4) 在土地覆盖方面检查从这些模型得出的激活。

Results:

结果表明，训练用于从航拍图像推断 SES 的模型似乎依赖于主要包含在住宅区而不是非住宅区的特征。 最后，我们还观察到，这种激活模式与通过结合土地覆盖和社会经济信息可以获得的统计信息有很大不同。

事实上，我们的研究结果证实了在其他大都市地区进行的早期观察。 我们的分析表明，包含自然区域的小区更有可能富裕，而邻近自然区域的住宅区不太可能贫穷。 关于高速公路和下 SES 之间的联系，可以提出类似的主张。 在这样做的过程中，我们的工作为开发更全面的城市理论铺平了道路，在这些理论中，城市感知和拓扑结构都被用来理解城市内的收入分配

Innovation:

在这样做的过程中，我们建立了一个模型，能够生成具有出色性能和高空间分辨率的社会经济预测，作为未来研究的基线。 更重要的是，我们提供了一种方法来解释经过训练的 CNN 模型在土地利用方面的激活模式。

然而，此处提供的激活解释必须谨慎进行，因为尚不清楚架构的选择、训练参数或学习模式在空间和时间上的可转移性如何改变观察到的相关性。 更一般地说，我们的结果可能为城市理论提供信息的程度将取决于考虑城市现象的规模。 因此，尽管我们的工作几乎没有深入了解影响特定城市收入分配的全球现象的存在（主要是因为执行了城市内收入量化），但它确实提供了视觉城市模式的局部组合如何相关的证据 与特定地区的收入。

我们的研究方向仍然是众多研究方向之一，因为新作品正试图通过检测卫星图像中的单个物体或完全依赖不同类型的数据来提高此类系统的可解释性，从而更好地进行解释，以及增加它们的可解释性，可转移性。

原文链接：

https://www.nature.com/articles/s42256-020-00243-5