论文浅尝 | 神经网络是如何外推的：从前馈神经网络到图神经网络

笔记整理 | 王泽元，浙江大学在读硕士，研究方向为图神经网络，对比学习。

---

什么是外推？指从已知数据的孤点集合中构建新的数据的方法。与插值（interpolation）类似，但其所得的结果意义更小，而且更加受不确定性影响。

第一张图展示了原始数据的分布；现在我们对原始数据进行线性拟合得到图二，其中蓝色部分就是插值所得到的结果，红色部分就被称为外推所得到的结果；从图三可以看出外推的点相比插值所得到的点，其误差会更大

作者发现前馈神经网络在学习简单多项式的时候外推的表现不好，而图神经网络在比训练集大很多的网络上完成有挑战的任务如预测物理系统的演化时间、学习图算法、解决数学问题中表现的很好。作者对这种差别进行深入研究，研究通过基于梯度下降训练的神经网络是如何外推的，它们在训练集之外学到了什么。经过分析，明确了在什么情况下多层感知机和图神经网络可以外推出良好的结果，并且提供了一个