《Clebsch–Gordan Nets a Fully Fourier Space Spherical Convolutional Neural Network》阅读笔记

《Clebsch–Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network》阅读笔记

1 动机

1）传统CNN具有平移等变性，但是不具有旋转等变性，当输入图片发生旋转时，模型表现显著下降；

2）目前已有工作提出球面CNN解决传统CNN在三维图片识别上的弱点问题，但存在较多限制。

2 贡献

1）提出广义球面CNN，将原始球面CNN推广到更一般的形式；

2）引入 Clebsch–Gordan 变换，实现傅里叶域的克罗内克积简化计算，使得模型可以在傅里叶域上计算微分。

本文提了一个广义球面神经网络，是对之前基础的球面神经网络的进一步改进，引入了群论思想，考虑了$SO(3)$群上三个角度的旋转，网络结构由CG积非线性变换和一个线性变换组成，如下图所示：

3 球面卷积神经网络简述

3.1 球面卷积的等变性

通常，我们要求CNN具有等变性而不是不变性，所谓等变性，就是当输入发生某种变化时，函数的输出也跟着发生相应的变化，比如下面这张图，无论输入的二维图像在空间上进行平移时，根据CNN的性质，其滤波结果也只是在空域上发生了相应的平移，而没有改变滤波值。

然而传统CNN虽然对平移具有等变性，但是对于旋转就没有等变性了，因此训练好的CNN模型对于旋转图片的识别效果都会大打折扣，通常只能通过数据增强来解决这个问题。

所以球面卷积神经网络横空出世，考虑了卷积神经网络关于旋转等变性的实现方式，成功拓宽了卷积神经网络在其他领域（尤其是3D领域）的应用场景。

现在我们简单看看它是怎么实现的，先看传统的平面卷积操作：

上式中，$f^{s-1}$代表$s-1$层，$h^s$代表第$s$层的卷积核，这是一个比较传统的卷积操作，因此不多说，注意这里只涵盖了二维图像的空间因素，也就是当图像发生平移时，卷积后的结果也会进行相应平移。

再进一步，将卷积对象推广到单位球面三维空间$S^2$中，先考虑具有两个维度等变性的函数内积，在三维空间里不再用距离作为向量表示，而使用极角和方位角定位点的位置，所以$h^s$和$f^{s-1}$定义成具有两个参数的球面函数$h^s(\theta ,\varphi )$和$f^{s-1}(\theta ,\varphi )$，这里$\theta$和$\varphi$分别表示极角和方位角，表示限制了$S^2$空间上的两个角度，所以空间上卷积就写成：

上面的$\ast$号表示的是复数共轭，这就是原始球面卷积神经网络使用的卷积。

上面那个式子如何实现等变性我们不作研究，现在从另一个角度观察一下，把地球视为这个单位球面，上面那个式子相当于规定了地球绕着赤道平面上$x,y$轴旋转的等变性，但是还不够！因为它还可能会绕着自转轴旋转，所以这里引入了群论的思想，将这个问题放到群$SO(3)$上考虑（群可以认为是集合与运算关系的组合，也就是既包含元素组成的集合，也包含集合之间的运算关系，群$SO(3)$就是全体三维空间中绕$x,y,z$轴进行任意转动操作的集合），现在引入$z$轴上的转动，进一步给出了包含第三个维度的等变性表达式：

上面的$h_R$是：
$$h_R(x)=h(R^{-1}x)$$
这里的$R$是一个旋转矩阵，其功能是把 h h