用于数字病理学的旋转等变CNN

       $我们演示了2层G-CNN如何在p4中等变。显示了每层一个核的特征图，蓝色虚线箭头表示两个输入的如何对应。$
$$\begin{gathered} Z2-（4rotatedversionsofthesamekernel）->P4 \\ P4-（thep4-kernel,cyclically-shiftingandrotatingthekernelforeachorientation）->P4 \\ 最后一层演示了方向上的平均池化如何产生局部不变且全局等变的表示 \\ p4上的全局平均池化将导致表示对平移和旋转全局不变。 \end{gathered}$$

上面这个图表示的是经过旋转之后的图片，输出的feature map具有等变性。

通过debug pytorch的代码，能够了解具体操作的过程是，Z2-P4卷积是将kernel旋转四次，分别与输入的图片做卷积，而P4-P4卷积是对于输出的4个feature map，分别将四个kernel绕着顺时针方向转动90°，同时kernel自身也转动90°，这样的四种状态分别与输出的不动的feature map分别做卷积，每一种状态做卷积之后的输出结果四个相加，这样为一个featuremap，四个状态对应4个feature map，即为最终的输出，那这样又为什么会学习到一个旋转不变的性质呢？因为同一个kernel的四种状态对于不同的feature map应该是能够得到一个p4的约束，所以能够学习到一个旋转等变的性质
博客园

       我们提出了一种新的数字病理分割模型，基于观察到组织病理学图像在旋转和反射下本质上是对称的。 利用最近关于旋转等变 CNN 的发现，所提出的模型以有原则的方式利用了这些对称性。 我们提出了一个可视化分析，显示了预测稳定性的提高，并证明利用旋转等方差显着提高了具有挑战性的淋巴结转移数据集的肿瘤​​检测性能。 我们进一步提出了一个新的派生数据集，以结合初始基准对机器学习模型进行原则性比较。 通过这个数据集，组织病理学诊断的任务可以作为基础机器学习研究的一个具有挑战性的基准。
       我们提出了一个完全卷积的斑块分类模型，该模型与90◦ 旋转和反射，使用[5]提出的方法。我们在Camelyon16基准[9]上对模型进行了评估，结果表明，在玻片分级和肿瘤定位任务方面，该模型明显优于可比CNN。

       这项工作的贡献如下：（1）我们提出了一种利用组织病理学固有对称性的新型深度学习模型，（2）证明旋转等方差提高了模型的可靠性，以及（3）提出了一个新的大规模组织病理学数据集，使 精确的模型评估。

$Z^2群不是这个Z_2群$

5. Cohen, T.S., et al.: Group equivariant convolutional networks. (2016)
6. Worrall, D.E., et al.: Harmonic networks: Deep translation and rotation equivariance. In: Proc. IEEE CVPR. Volume 2., openaccess.thecvf.com (2017)
7. Weiler, M., et al.: Learning steerable filters for rotation equivariant CNNs. (2017)

添加链接描述

解释

$$y(n)=x(n)\ast h(n)=\sum _{-\infty }^{+\infty }x(i)h(n-i)$$

等变

       $平移不变性$:将图片平移后再送入若干卷积层得到的结果，与将原图直接送入相同卷积层得到结果后再对特征图进行平移所得到的结果一样。
       如果一个函数满足，输入改变而输出也以同样的方式改变的这一性质，我们就说它是等变的。
       $$\begin{gathered} 若f(L_g(x))=L_g(f(x)),L_g为群元g对应的算符，称f(x)对于变换g等变。 \\ 且有：[L_{g}f](x)=[f\ast g^{-1}](x)=f(g^{-1}x) \end{gathered}$$
$$\begin{gathered} 如上式中g=x+t，则g^{-1}=x-t，只需计算在x-t（左平移）的特征图， \\ 就能得到x的特征图右平移的结果。 \end{gathered}$$

卷积

$$多通道卷积f:Z^2\to R^{K^l}$$

$$\begin{gathered} 上面的式子表示卷积，下面的式子表示相关（correlation）， \\ 两者应用于CNN时从训练结果上讲是等价的。 \\ x表示坐标,y表示的是特定的平移操作，f表示特征图，l表示第l层 \\ {K}^l表示通道数，\psi 表示卷积核，上式表现了一个卷积核\psi 在特征图上卷积的过程。 \\ 相关是通过移动卷积核，然后与特征图计算点积来计算的。 \end{gathered}$$

平移不变性

$$\begin{gathered} L_t表示进行位移t的变换，上式表明： \\ 先对特征图f进行位移t的变换，再通过卷积核\psi 提取特征， \\ \iff ：先通过卷积核\psi 提取特征，再进行位移t的变换。 \\ 由此，得到位移不变性。 \end{gathered}$$

传统卷积无旋转不变性

作者发现旋转操作与卷积操作是不対易的。

$$\begin{gathered} 若对特征图进行旋转之后,再进行卷积， \\ 应该\iff ：特征图直接与卷积核卷积，再进行旋转 \\ 实际\iff ：对卷积核做反向的旋转，再对原始特征图进行卷积，再把卷积得到的结果旋转回去。 \end{gathered}$$

实际


假设我们定义一个新的卷积操作：
$$\begin{gathered} [f\diamond {\psi }^i](\theta )=\sum _{y\in Z^2}\sum _{k=1}^{Kl}{f}_k(y){\psi }_k^i(A_{\theta }^{-1}y) \\ 其中，A_{\theta }表示旋转角度为\theta 的旋转矩阵 \end{gathered}$$​
根据这个卷积操作，推导旋转不变性：
$$\begin{gathered} [[L_{r}f]\diamond \psi ](\theta )=\sum _{y}f(A_{r}y)\psi (A_{\theta }^{-1}y) \\ =\sum _{y}f(y)\psi (A_r^{-1}{A}_{\theta }^{-1}y) \\ =\sum _{y}f(y)\psi (A_{(\theta +r)}^{-1}y)=L_r[f\diamond \psi ](\theta ) \end{gathered}$$
$$其中，A_r表示旋转矩阵$$

       相关计算是通过移动滤波器，然后用特征图计算点积来计算的。通过将移位替换为某个G组的更一般变换，我们得到了G-CNN第一层中使用的G相关性：

       注意，输入图像f和滤波器ψ都是平面$Z^2$的函数，但特征映射$f\ast \psi$是离散群G上的函数（可能包含作为子群的平移）。因此，对于第一层之后的所有层，滤波器ψ也必须是G上的函数，并且相关运算变为

$$\begin{gathered} G-CNN推广了对feature-map的变换操作，从传统的只有平移变换的群Z^2到某个对称性群G。 \\ 而且推广以后，G-CNN卷积层对于该群的对称性变换操作具有等变性质。 \\ 当对称性群G只有平移一种对称性操作，则G-CNN也就是传统的CNN \end{gathered}$$

       如果任何变换 g ∈ G 可以分解为平移 t ∈ Z^2 和原点稳定器中的变换 s（即 s 离开原点不变），则平面对称群 G 称为分裂。 对于 p4 组，我们可以写 g = ts 表示 t 是平移，s 是绕原点的旋转，而 p4m 分为平移和旋转翻转。 使用 G 的这种分裂以及 L_gL_h = Lgh 的事实，我们可以将 G 相关性（等式 10 和 11）改写如下：

$对于某一个g，h一直是p4群，不会改变。因而公式中的g^{-1}h其实就是一个左陪集。$

${\psi }_k\left(g^{-1}h\right)的意思是，一个集合里有k=4干张滤波器图像$
$它们之间能在群g^{-1}h下互相转换$
​
$$\begin{gathered} f_k(h){\psi }_k(g^{-1}h)。由于{\psi }_k\left(g^{-1}h\right)是16张图，那么要执行“乘积”， \\ {f}_k(h)也需要复制出16张图，把二者一一对应，“重叠”在一起，做点积。 \end{gathered}$$

where X = Z^2 in layer one and X = G in further layers
因此，为了计算 p4（或 p4m）相关 f ⋆ ψ，我们可以首先计算L_sψ（“滤波器变换”）

所有四个旋转（或所有八个旋转翻转）的 ，然后在 f 和增强的 滤波器组。

逐点非线性

至此，文章定义了G-CNN的核心概念，接下来的部分是从理论上处理非线性和pooling。对于非线性操作，结论是非线性操作与群变换対易，仍然保留等变性质

回想一下，我们将特征图视为 G 上的函数。在此观点中，将非线性 ν : R → R 应用于特征图相当于函数组合。

由于左变换算子 L 通过预组合起作用，因此 C 和 L 交换

破欧玲

为了简化分析，我们将池化操作分为两步：池化本身（无跨步执行）和子采样步骤。
应用于特征映射 f : G → R 的非跨步 maxpooling 操作可以建模为一个操作符 P，它作用于 f 为

其中 gU = {gu | u ∈ U} 是某个池域 U ⊂ G（通常是恒等变换的邻域）的 g 变换。 在常规的 convnet 中，U 通常是包含原点 (0, 0) 的 2 × 2 或 3 × 3 正方形，g 是平移。
如补充材料所示，pooling与Lh commute：

在 G-CNN 中，“步幅”的概念是通过对子群 H ⊂ G 进行xia采样来概括的。也就是说，H 是 G 的一个子集，它本身就是一个群（即在乘法和逆运算下封闭）。 子采样的特征图然后等变到 H 但不是 G

在标准的 convnet 中，步幅为 2 的池化
与池化然后在 H 上进行子采样相同
H = {(2i, 2j)|(i, j) ∈ Z 2}

对于 p4-CNN，我们可以对包含所有 4 个旋转以及 2 个像素倍数的移位的子组 H 进行子采样。
我们可以通过选择我们的池化区域 U 作为子群 H ⊂ G 来获得完全的 G 等方差。在群论中，由此产生的池化域 gH 被称为陪集。 陪集将组划分为不重叠的区域。 由陪集池化产生的特征图对于 H 的右动作是不变的，因为陪集同样是不变的 (ghH = gH)。 因此，我们可以任意选择一个陪集代表对每个陪集进行子采样
陪集池化产生的特征图可以被认为是商空间 G/H 上的函数，其中如果两个变换与 H 中的变换相关，则认为它们是等价的。

例如，在 p4 特征图中，我们可以在每个空间位置（围绕原点旋转的子组 R 的陪集）的所有四个旋转上进行池化。 生成的特征图是 Z 2 ∼= p4/R 上的函数，即它将以与输入图像相同的方式进行变换。 另一个例子是 Z 上的特征映射，我们可以将移位子组 nZ 的陪集池化为 n 的倍数。 这给出了 Z/nZ 上的特征图，其在平移下具有循环变换规律。
我们对 G-CNN 的分析到此结束。 由于所有层类型都是等变的，我们可以自由地将它们堆叠到深度网络中，并期望 G-conv 参数共享在任意深度都有效。

以上是理论分析，但是具体如何在程序中实现这种看似复杂的池化，文中没有细化。如果有了解细节的朋友，还望告知。

$$我们将基线架构的所有卷积层替换为p4或p4m卷积。对于恒定数量的过滤器，这会使特征图的大小增加4或8倍，从而又增加了下一层中每个过滤器所需的参数数量。因此，我们将每个p4-conv层中的过滤器数量减半，然后将除以每个p4m-conv层中的。这样，参数的数量几乎不变，而内部表示的大小却增加了。$$

$$遵循Goodfellow等人的观点，+表示使用水平翻转和少量平移进行适度的数据增强$$

参考：

0.Group Equivariant Convolutional Networks
1.G-CNN：群CNN
       作者在带有旋转变换的MNIST和CIFAR数据上进行了实验，证实旋转群CNN能较好地抗旋转。
       许多经验及实验都验证了：卷积权值共享（convolutional weight sharing）和网络深度（depth）对于神经网络的效果起到了重要作用。
       卷积权值共享依赖于任务中的平移不变性：预测标签的函数和数据分布对于平移变换都近似于不变。

       CNN中已经具有了平移不变性，这篇论文的工作是将神经网络拓展到更大的群上，引入更多的对称性，如旋转（rotation）和反射（reflection）
       文中引入了两个群对核进行扩充，形成核的库，一个是p4群(SE(2)旋转单次90度，平移单次整数)，另一个是p4m群(p4+反射)。

新的卷积公式，把对核的操作考虑进去。

       作者提到，互相关和卷积公式实际上并不一样，如果在前向传播的过程中采用了互相关公式进行卷积操作，那么在后向回传的时候就会涉及到卷积公式，反之亦然。很多资料将这两种统统称为卷积，作者这里提出他们之间的区别是为了证明不管前向还是后向，卷积均满足等变性。
       接下来，对于神经网络中三种经典的层：卷积层、池化层和非线性层，作者一一证明了其跟这种核的群变换都是可以互换的，也就是可以保持等变性。作者认为，池化的作用在于对特征图进行下采样进而减少变量。这里的池化分成不带步幅的池化以及对池化后的特征图进行下采样。在群中，如果一部分群元素可以满足群的定义，那么就称为原来的群的子群。对子群进行变换，可以得到陪集，也就是子群的子区域。陪集将原来的群划分为互不重叠的区域。由于对陪集进行池化得到的特征图不会随着子群不同的变换而改变，也就是尽管陪集的表示有不同方式，但可以对任意一个陪集的表示进行下采样，原文称之为陪集池化。原文中给出如下例子。对于一个满足p4对称性（平移对称性和旋转90°的对称性）的特征图，我们以涉及到旋转操作的子群作为池化域，对空间中每个点关于四度旋转（90°，180°，270°，360°）各做一次池化，还有一次关于平移变换的池化。对应下采样的特征图跟下采样的子群等变而跟大群不等变，但是对特征图的分析总是将整个特征图的所有通道结合起来的，结合后的特征图跟原来的群依然等变。于是有望在深层神经网络中用新的卷积方式替换原来的卷积操作，使得参数共享在任意深度均可以发挥作用。G-CNN实现。

shixian
https://github.com/parasdahal/group-equivariant-autoencoder

添加链接描述

transformation invariant pooling (TI-Pooling)

https://geometricdeeplearning.com/

添加链接描述

https://github.com/e3nn/e3nn