等变GNN

非空集合$G$上定义的二元运算如果满足某些性质，就构成了一个群。常见的群有：

• $O(n)$：$n$维正交群，包含旋转和反演操作，反演可以理解为推理或者映射。
• $SO(n)$：$n$维特殊正交群，只包含旋转操作。
• $E(n)$：$n$维欧几里得群，包含旋转反演和平移操作。
• $SO(n)$：$n$维特殊欧几里得群，只包含旋转和平移操作。

对于群$G$中的任意变换，如果有：$$\varphi ({\rho }_{input}(g)x)={\rho }_{output}(g)\varphi (x),\forall g\in G$$则称函数$\varphi$在群空间$G$上具有等变性。其中${\rho }_{input}$和${\rho }_{output}$分别代表输入和输出空间的群表示。

例如在$O(3)$群中，假设输入与输出空间使用同一套坐标系，如果等变性成立则意味着$\varphi (Ox)=O\varphi (x)$；

又例如对于一个平移向量$t\in {\mathbb{R}}^n$，同一坐标系下的平移等变性意味着$\varphi (x-t)=\varphi (x)-t$；

特殊的，如果${\rho }_{output}(g)$为单位元，则得到不变性的定义：$$\varphi ({\rho }_{input}(g)x)=\varphi (x),\forall g\in G$$因此，不变性是一种特殊的等变性。

以化学物理领域为例，不变性和等变性各有用途：

• 分子的能量预测应该偏向于使用不变性，包括预测配体和蛋白质口袋的相互作用也更倾向于使用不变性（比如几何相互作用GNN预测3D-PLA）。
• 在预测蛋白质结合位点时偏向于使用等变性，这种任务类似视觉领域的分割和检测，它们需要等变性来受益。

在GNN中实现等变性通常有三种方式：

• 不可约表示：一个群的线性表示可以被表示为一系列不可约表示的和，利用这一性质可以实现等变，比如SE(3)-Transformer。
• 正则表达：将图卷积滤波器定义为群的函数，比如LieConv，它定义了李群上的卷积操作，从而可以实现任意李群上的等变网络。
• 标量法：将几何向量转化为具有不变性的标量，然后将其施加在原始的向量上，从而获得等变表示。比如EGNN，即E(n) Equivariant Graph Neural Networks，通过使用向量的标量化来实现$E(3)$等变性，EGNN结构简单高效，已经被用作很多任务的backbone。

下面主要引入EGNN，模型的输入包括$M$个节点的嵌入向量${\text{h}}^l=\left\{{\text{h}}_0^l,...,{\text{h}}_{M-1}^l\right\}$，每个节点的坐标向量${\text{x}}^l=\left\{{\text{x}}_0^l,...,{\text{x}}_{M-1}^l\right\}$和边的特征向量$e_{ij}$。EGNN基于如下的消息传递和特征聚合来实现GNN运算：$$\begin{gathered} {\text{m}}_{ij}={\varphi }_e({\text{h}}_i^l,{\text{h}}_j^l,||{\text{x}}_i^l-{\text{x}}_j^l|{|}^2,e_{ij}) \\ {\text{x}}_i^{l+1}={\text{x}}_i^l+\sum _j({\text{x}}_i^l-{\text{x}}_j^l){\varphi }_x({\text{m}}_{ij}) \\ {\text{m}}_i=\sum _{j\in N(i)}{\text{m}}_{ij} \\ {\text{h}}_i^{l+1}={\varphi }_i({\text{h}}_i^l,{\text{m}}_i) \end{gathered}$$证明等变性也很简单，首先证明消息${\text{m}}_{ij}$具有不变性（具体参考几何相互作用GNN预测3D-PLA）：$${\text{m}}_{ij}={\varphi }_e({\text{h}}_i^l,{\text{h}}_j^l,||Q{\text{x}}_i^l+g-[Q{\text{x}}_j^l+g]|{|}^2,e_{ij})={\varphi }_e({\text{h}}_i^l,{\text{h}}_j^l,||{\text{x}}_i^l-{\text{x}}_j^l|{|}^2,e_{ij})$$基于此可证明$\text{x}$具有等变性：$$\begin{gathered} Q{\text{x}}_i^l+g+\sum _j(Q{\text{x}}_i^l+g-Q{\text{x}}_j^l-g){\varphi }_x({\text{m}}_{ij}) \\ =Q{\text{x}}_i^l+g+Q\sum _j({\text{x}}_i^l-{\text{x}}_j^l){\varphi }_x({\text{m}}_{ij}) \\ =Q({\text{x}}_i^l+\sum _j({\text{x}}_i^l-{\text{x}}_j^l){\varphi }_x({\text{m}}_{ij}))+g \\ =Q{\text{x}}_i^{l+1}+g \end{gathered}$$另外，可以发现，对于性质类型的特征$\text{h}$是具有不变性的。