【深度学习知识点-42】几何先验

几何先验是指在几何深度学习中，将对数据的几何理解编码为深度学习模型中的归纳偏差，以帮助模型更好地学习和泛化。这些几何先验通常通过三种类型的几何知识进行编码：

1. 对称性和不变性：

   • 对称性和不变性是最常见的几何先验之一。在物理学中，对称性通常由物理系统在变换下的不变性来表示。如果我们知道现实世界表现出某些对称性，那么将这些对称性直接编码到我们的深度学习模型中是有意义的。例如，传统的卷积神经网络（CNN）表现出所谓的平移等变性，这意味着如果图像中的内容发生平移，特征空间中的内容也应该相应地平移，确保模型在所有位置都能识别出相同的模式。

2. 稳定性：

   • 另一个常见的几何先验是保证表示空间的稳定性。我们可以将数据实例之间的差异视为由于将一个数据实例映射到另一个数据实例的某种失真。为了使表示空间表现良好并支持有效的深度学习，特征映射必须表现出稳定性，保留数据实例之间的相似性度量。

3. 多尺度表示：

   • 第三种常见的几何先验是对数据的多尺度、分层表示进行编码。在数据实例中，许多数据不是独立的，而是以复杂的方式相互关联。例如，图像中的像素不是独立的，而是附近的像素通常是相关的并且非常相似。通过捕获大量数据的多尺度、分层性质，可以构建有效的表示空间。

几何先验的引入使得深度学习模型能够利用数据的几何结构信息，从而提高模型对数据深层结构的理解能力，增强泛化能力，并在多个领域内实现突破