2021SC@SDUSC 项目实训-算法介绍

2021SC@SDUSC

---

一、算法来源

Hsun-Ping Hsieh*, Shou-De Lin, Yu Zheng. Inferring Air Quality for Station Location Recommendation Based on Big Data. In the Proceeding of the 21th SIGKDD conference on Knowledge Discovery and Data Mining (KDD 2015).
在2021年《基于高阶图卷积网络的城市空气质量推断模型》一问中，针对此项任务提出了高阶图卷积神经网络的空气推断模型。然而此方法利用到了卷积和全连接网络，在复杂度和训练用时上比较难以接受，我们也不具备充足的计算资源，所以我使用的算法来自这篇论文中的对比算法，据作者介绍，AQInf是在其之前的最佳方法。

该论文试图回答两个问题。首先，如何在给定环境数据和来自非常稀疏的监测位置的历史空气质量数据的情况下推断任意位置的实时空气质量。第二，如果需要建立几个新的监测站来提高推理质量，如何确定最佳位置？这些问题具有挑战性，因为对于城市中的大多数位置 (>99%)，我们没有任何空气质量数据来训练模型。所以我们利用现有监测数据和异构城市动态设计了一个半监督推理模型，包括气象、人类流动性、道路网络结构和兴趣点 (POI)。我们还提出了一个熵最小化模型来建议建立新监测站的最佳位置。

二、算法介绍

AQInf的主要工作在于提出了基于亲和函数进行区域连接的亲和图推理模型。
亲和函数和两节点之前的边值如下图所定义。亲和函数旨在描述两区域之间AQI概率分布的相关性。
对于在全图中应该连接哪些边，文中给出了方案。分别是
1.都连接有监测站点的区域
2.就近连接
3.连接近段时间的区域（比如对Tn时间的X区域，可以连接Tn-1、Tn-2时的X区域）
4.连接相似的层（这个定义在论文中似乎不是很明确，如何分析两层的相似度也会是一个很有意思的问题，作者只是在这里提出比如某些现象24小时出现一次，找不到源代码我们只能这样来理解这个思路）

下图给出一个连接示例

根据这张亲和图我们可以构建出图的损失函数

但是这个函数无法直接优化。因为观察到的数据非常稀疏，因此这样做可能会使模型过度拟合验证数据。所以作者提出了一个学习目标𝜋𝑘，即最小化未标记节点的推断 AQI 分布的熵。这是比较直观的，因为如果推断的分布具有高熵（即不可预测的值），推理模型将变得无用。

基于熵的定义可以结合梯度下降进行边权的优化

到此这个算法结束，下图给出了完整的迭代模型
.整个算法的执行流程

紧接上文，我们可以发现AQInf清晰的定义了空气推理模型的熵值

最简单的办法，我们可以选择具有最高熵的前 k 个位置作为推荐结果。对这个方法存在的问题是这些不确定区域中的一些可能是高度相关的。也就是说，一旦我们获得了某些位置的值，其余的可能不会像以前那样不可预测。作者利用实验证实了这样的假设。
对于这样的问题，作者提出了一种称为基于贪婪的熵最小化 (GEM) 的方法，旨在根据其减少不确定性的能力对位置进行排名。即首先从低熵位置开始，而不是关注高熵位置。 GEM 通过以下步骤执行，共五个步骤。
1.给定获得的 AQInf 模型，首先确定熵最低的位置 X0，这意味着模型对其推断的 AQI 值非常有信心。将最后推荐的候选人排名 X0。
2. 选择从 X0 的原始 AQInf 推断出的最可能的值作为其“伪观测 AQI 值”。标记为 X0。
3.利用X0的伪AQI值与原始观测数据建立新的影响模型AQInf1。
3. 识别 AQInf1 中熵最低的另一个位置 X1，将其指定为推荐列表中倒数第二个候选位置。
4. 重复1~4，将要推荐的位置从后到前迭代排序
迭代过程如下图所示

整个算法为了避免一个时间节点所带来的不确定性，可以采用一系列所想观测的时间点，对每个时间点的顺序结果可以加起来求和再排列顺序。