通俗地说，机器学习模型的输出结果不是板上钉钉的事儿，医疗诊断需要给出病症的判断概率，对于不确定的数据和模型参数，也需要给出模型的不确定度。
不确定性估计：
- 模型不确定性（感知不确定性，epistemic uncertainty）
模型不确定性通常源于对收集的训练数据的不认识。感知不确定性通过多次输出的方差来决定。
模型不确定制定在参数的分布上，通过先验分布预设模型，在给予一些训练数据后观察这个分布的变化。
可以被消除，需要增大数据量进行训练。
对于模型不确定性的实现比较简单：在train时使用dropout防止过拟合，而在test时使用dropout是为了采样。在test时打开dropout机制，多次forward输出预测结果，取平均得到预测值，取方差得到模型不确定度。这个过程就是Monte Carlo Dropout（有人称Test-Time Dropout或MC Dropout贝叶斯神经网络），在不需要改变神经网络结构的前提下实现模型不确定性，参考文献：Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning） - 数据不确定性（偶然不确定性，aleatoric uncertainty）
数据不确定性通常源于数据本身的噪声，通过分析输出的分布可以评估数据不确定性。偶然不确定性是由样本特征决定的，与模型无关。
例如：Social LSTM模型，输出是二维位置高斯分布的五个参数 ( μ 1 , μ 2 , σ 1 , σ 2 , ρ ) (μ1,μ2,σ1,σ2,ρ) (μ1,μ2,σ1,σ2,ρ)，通过预测这五个参数就反映了数据不确定性。
数据不确定性制定在输出的分布上，通过分析不同输入对应输出的方差。
不能被消除，只可以分析。
Related Papers：
-
Bayesian Graph Convolutional Neural Networks for Semi-Supervised Classification（AAAI 2019）
图中可能包含伪造边或有强联系的节点之间没有边，本文用贝叶斯方法将观察到的图视作参数随机图族。针对随机参数和节点标签的联合后验进行推断。 -
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning（AISTATS 2019）
原来的GCN可能会因为周围样本的分布问题导致预测出错，ConfGCN可以估计周围节点的置信度，从而分配不同的权重给中心节点，从而使图获得各向异性的属性。
-
Bayesian Graph Neural Networks with Adaptive Connection Sampling（ICML 2020）
自适应连接采样框架，简单理解为一种Dropout与DropEdge升级版+贝叶斯。
该框架不仅缓解了深层GNNs的过平滑和过拟合的问题，而且使得GNNs在图分析任务中可以应付不确定(uncertainty)的问题。 -
UAG: Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks（AAAI 2021）
解释了模型不确定性和数据不一致性。
对于数据不确定性，本文是指图受到攻击的情况下，即同类别之间的边被删除，而不同类别之间的边被建立，那么就更容易被误判。所以研究节点k跳的类别多样性非常重要。 -
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
本文提出了一种新的理论框架，将深度神经网络中的dropout训练作为深度高斯过程中的近似贝叶斯推理。这个理论的一个直接结果是给我们提供了用dropout nn建模不确定性的工具。预测时打开dropout，进行多次forward输出结果，均值为预测值，方差为不确定度。 -
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?（NIPS 2017）
这篇的作者Yarin Gal和Dropout as a Bayesian Approximation是同一个。本文对模型和数据的不确定性都进行了分析。
本文对模型不确定性的建模就是用到的Dropout as a Bayesian Approximation方法，即预测时打开dropout，进行多次forward输出结果，均值为预测值，方差为不确定度。
论文解读：贝叶斯神经网络建模两类不确定性——NIPS2017 -
Probabilistic Graph Neural Networks for Traffic Signal Control
概率图神经网络，概率注意力模型。能对交通条件的不确定性进行建模，并学习后验分布的变分推理。
Uncertainty用到的方法就是VGRNN。
-
Variational Graph Recurrent Neural Networks（NIPS 2019）
变分图递归神经网络（VGRNN），引入额外的随机变量，共同捕获动态图中的拓扑和节点属性变化，以及节点潜在表示的不确定性。
-
Certified Robustness of Graph Neural Networks against Adversarial Structural Perturbation（KDD '21）
对抗图结构的扰动和攻击，比如在图中删除或添加边，导致预测出错。本文提出的随机平滑技术针对这个问题来增强GNN的图结构扰动鲁棒性。 -
Uncertain Graph Neural Networks for Facial Action Unit Detection（AAAI 2021）
用ResNet生成AU特征，当然这个和uncertainty无关。
本文提出的UGN模型，针对节点有noise的情况下，捕获节点间的关系和不确定性的概率。
方法就是引入一个随机变量捕获不确定性，用输出的均值捕获节点间的重要度，方差捕获输入数据的不确定性。
-
NODE-SELECT：A Graph Neural Network Based On A Selective Propagation Technique
分层的节点选择算法，抑制聚合过程中节点噪声的传播。
本文在节点选择部分，对特征进行线性变换，在节点选择时要丢弃的是有特征信息遗漏的节点。
看了看审稿人意见：reject 推导的可读性不高，并且当设置概率阈值T为0时就相当于GAT的自注意力。
-
Gaussian Belief Propagation 高斯置信度传播算法
发现这篇挺有趣：A visual introduction to Gaussian Belief Propagation
-
Robust Graph Convolutional Networks Against Adversarial Attacks（KDD '19）
这篇挺有意思，把节点表征为高斯分布的形式，不管在GCN中怎么聚合，下一层的节点仍然是高斯分布。那么怎么对抗攻击？参考计算出来的方差，方差越大，表示其不确定性越大，则在聚合时分配较少的权重。
本质上就是换了一种节点embedding表达方式。
label noise相关：
- Towards Robust Graph Neural Networks against Label Noise
利用标签传播和元学习方法，基于图结构的标签平滑性（相邻节点往往具有相同标签），利用标签传播算法从每个节点的相邻节点中计算出一个伪标签，然后利用元学习来学习原始标签和伪标签的适当聚合作为最终标签。
参考链接（这些博客真心写得很好）：
- GNN中如何利用置信度和不确定性做文章
- 笔记 - 基于贝叶斯网络的不确定性估计（从一篇车载视角的行人框预测论文出发）
- 深度学习中的不确定性
- 图神经网络(GNN)与贝叶斯网络(BN)有什么关系?
- 你的算法可靠吗？——度量神经网络的不确定性
- 深度学习如何估计模型不确定性(epistemic uncertainty)
- NeurIPS 2019年十篇机器学习领域的论文解读：来自谷歌、Facebook、普林斯顿大学、斯坦福大学最新研究成果 -> 我发现NIPS 2019很多机器学习paper都是关于贝叶斯不确定性的，都需要非常好的数学支撑，难度较大
- 注意力导向的GCN用于关系提取任务
label noise相关：
Graph-Adversarial-Learning汇总：
- Graph-Adversarial-Learning
很多很多和图攻击、图对抗、图扰动有关的paper - 图对抗攻击防御技术–RGCN，Pro-GNN，Vaccinated GCN
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
