spherical cnns

 卷积神经网络已成为二维平面图像学习问题的一种选择方法，然而，最近人们感兴趣的一些问题产生了对能够分析球面图像的模型的需求。例子包括无人机，机器人和自动驾驶的全方位视觉，分子回归问题以及全球天气和气候模型。卷积网络在球面信号平面投影中天真应用注定失败，因为这种投影引入的空间变化畸变会使平动权值共享失效。

本文介绍了球形cnns的构造模块。提出了一种即具表达性又具有旋转等变异性的球面互相关的定义。球面相关满足广义的傅里叶定理，该定理允许我们使用广义非交换快速傅里叶变换(FFT)算法有效地计算球面相关，我们证明了球形cnns应用于三维模型识别和原子能量回归的计算效率，数值精度和有效性。

1 介绍

卷积网络无论在图像中的位置如何，都能检测到局部模式。就像平面图像中的图案一样，球面上的图案可以移动，但在这种情况下，移动是一个3D旋转而不是平移。与平面cnn类似，我们想要构建一个网络，无论他们在球面上如何旋转，都可以检测模式。如图1所示，没有很好的方法来使用平移卷积或交叉相关来分析球面信号。因此，最明显的方法是通过旋转替换filter平移来改变互相关的定义。这样做，我们就遇到了平面和球面直接一个微妙但重要的区别，平面的运动空间(2D平移)本身与平面是同构的，而球面的运动空间(3D旋转)是一个不同的三维流行，称为SO(3).由此可知，球面相关（输出feature map）的结果被认为是SO(3)上的信号，而不是球面上的信号s。因此，我们将SO(3)组相关部署在球面CNN的较高层（Cohen）。

球形cnns的实现面临两大挑战。虽然像素的正方形网络具有离散的平移对称性，但对于球面来说，没有完全对称的网格存在。这意味着没有简单的方法来定义一个球形滤波器的旋转一个像素。相反，为了旋转过滤器，我们需要做一些插值。另一个挑战是计算效率，SO(3)是一个三维流形，SO(3)相关的一个朴素实现是O(n6)

我们使用来自非交换谐波分析的技术来解决这两个问题。这一出场给出了傅里叶变换的一个意义深远的推广，它不仅适用于球面上的信号，也适用于旋转群上的信号。已知，SO（3）相关满足关于SO(3)傅里叶变换的傅里叶定理，S2相关的定义也是如此。因此，利用广义FFT算法可以有效地实现S2与SO(3)的关联。由于我们是第一个在多层神经网络的连续群上使用互相关的人，我们严格地评估了连续理论预测的数学性质在离散化实现中的实际应用程序。

此外，通过对三个数据集的实验，证明了球形神经网络比平面神经网络更适合于对球面MNIST图像进行旋转不变分类。其次，我们使用CNN对三维形状进行分类。在第三个实验中，我们使用分子能量回归模型，这是计算化学中的一个重要问题。

贡献

    1 球形CNNs理论

    2 第一个对S2和SO(3)进行广义傅里叶变换的自动可微实现。我们的pytorch代码利于使用，速度快，内存效率高

    3 球形神经网络在旋转不变学习问题中的应用的第一个经验支持

2 相关工作