蛋白质3D建模等变神经网络、李群SE(3)

Alphafold2之前， 使用神经网络去直接优化蛋白标量 距离图， 采样低
能量构象。
Alphafold2: 直接对3D建模，用等变神经网络去直接获得原子水平优化结果
蛋白质表示为$G=(V,E,N,R)$
$V$ 表示有序的图节点（可以是氨基酸/原子）
$E\in V\times V$ 表示相应的边集合
每个节点$v\in V$ 都有标量和向量属性： $n_v=(S_v,V_v)\in N$,
$S_v\in R^S$, $V_v\in R^{3\times V}$
每条边 $e\in E$ 有属性$r_e=(S_e,V_e)\in R$, $S_e\in R^N$、$V_e\in R^{3\times T}$
$G$ 包含空集。
当集合$E$和$R$ 是空集的时候，$G$降为单序列表示。
如果$N$ 只包含氨基酸组成，$G$ 降为氨基酸序列。

蛋白预训练分为2步：
①用pretext任务，在预训练数据集$D_{pre}$上预训练表示模型$f_{\theta }(\cdot )$
② 微调预训练表示模型$f_{{\theta }_{pre}}(\cdot )$ with 预测头$g_{downstream}(\cdot )$, 在具体下游任务监督之下$L_{task}(\theta ,D_{task})$
整个过程表示为：

$${\theta }^{\ast }=\arg \underset{\theta }{\min }{L}_{task}({\theta }_{pre},D_{task})$$
$$s.t.{\theta }_{pre}=\arg \underset{\theta }{\min }\sum _{k=1}^K{\lambda }_k{L}_{pre}^{(k)}(\theta ,D)$$
{ λ k } k = 1 K \{\lambda_k \}_{k=1}^K {λk​}k=1K​是任务权重参数。

等变与不变
在蛋白质的旋转或平移下，标量和向量属性应当严格定义为不变或等变属性。
$f:R^3\to R^S$ 是一个不变函数$w.r.tSE(3)$群。
对于组内任何旋转和平移变换。
表示为$f(Rx+t)=f(x)$, $R$为正交矩阵， $t\in R^3$。
由不变函数生成的属性是不变性的且是标量。

$f:R^3\to R^3$ 是一个等变 $w.r.t.SE(3)$群，
$f(Rx+t)=Rf(x)+t$, 由等变函数生成的属性是等变的且是向量， $f(\cdot )$可以是神经网络。
$w.r.t.$ = with respect to 常用于求导或满足一定条件

向前扩散过程：
不是把氨基酸分子降为单$C_{\alpha }$原子，我们追求一个更细粒度的建模。所以考虑所有氨基酸骨架原子$（C,N,O,C_{\alpha })$。考虑物理上的合理性（骨架原子之间的键长和键角是相对固定的），我们把骨架原子建模为一个框架。
一个氨基酸骨架结构由2个向量性质所决定：
转化$t$（$C_{\alpha }$原子的坐标）， 方向$O$(决定最终的坐标）
$$P=\{(t_i,O_i){\}}_{i=i}^{i=N}$$
$$x_i^a=O{x}_{lit}^a+t$$
$P$是蛋白骨架结构，$N$是蛋白质序列的长度
$x_i^a$是残基$i$的a-类型骨架原子，
$a\in C,N,O,C_{\alpha }$
$O{x}_{lit}^a$是a-类型原子的坐标，当$C_{\alpha }$原子处于原点且在单位正交组，这坐标是氨基酸骨架原子的标准化坐标。
为了干扰结构decoys的构象，$t\in R^3$、$O\in SO(3)$向量需要被处理。
$t$ 是可以通过增加高斯噪声来干扰的连续变量

Note:
群论
群（Group) 是一种集合加上一个二元运算。
设$G$是一个非空集合， $\cdot$是一个二元运算，若满足如下条件：

• 封闭性：$\forall a,b\in G$, $a\cdot b\in G$
• 结合律： $\forall a,b,c\in G,(a\cdot b)\cdot c=a\cdot (b\cdot c)$
• 单位元（幺元）： $\exists e\in G,s.t.\forall a\in Ga\cdot e=e\cdot a=a$
• 逆元： $\forall a\in G,\exists a^{-1}\in G,s.t.a\cdot a^{-1}=a^{-1}\cdot a=e$

$s.t.$ subject to的缩写 “受约束”（约束条件）
则称$G$对 $\cdot$ 构成一个群，记作$(G，\cdot )$

• 称$G$ 上二元运算$\cdot$ 为“乘法”
• $a\cdot b$ 为a与b的积，简写ab
• 若群$G$中元素有限，则称其为有限群，反之则称其为无限群
• 有限群的元素个数称为有限群的阶

子群
对于群$(G,\cdot )$存在$H\subset G$且$H\ne \varnothing$, 若$(H,\cdot )$也是一个群，则称$H$为$G$的子群。子群的充要条件如下：
$HH=H$ 且 $H^{-1}=H$

李群
李群是一种具有连续（光滑）性质的群，它既是群也是流形。
刚体能够连续地在空间中运动，故而特殊正交群SO(n) 和特殊欧式群SE(n)为李群。

李代数
每个李群都有与之对应的李代数，李代数描述了李群单位元附近的正切空间性质

李代数由一个集合$V$,一个数域$F$ 以及一个二元运算[,] 组成， 记为$(V,F,[,])$,
其中二元运算[,]被称为李括号， 表示了两元素间的差异。

李代数满足如下条件：

• 封闭性： $\forall X,Y\in V,[X,Y]\in V$
• 双线性： $\forall X,Y,Z\in V,a,b\in F$有：

$$[aX+bY,Z]=a[X,Z]+b[Y,Z]$$
$$[Z,aX+bY]=a[Z,X]+b[Z,Y]$$

• 自反性： $\forall X\in V,[X,X]=0$
• 雅可比等价： $\forall X,Y,Z\in V,[X,[Y,Z]]+[Y,[Z,X]]+[Z,[X,Y]]=0$
• 反对称性：$\forall X,Y\in V,[X,Y]=-[Y,X]$

推导$SO(3)$李代数
对于任意旋转矩阵$R$,满足$R{R}^T=I$。刚体在三维空间中的运动是连续的，随时间而变换， 也即：
$$R(t)R(t{)}^T=I$$
两侧对时间$t$ 进行求导：
$$\dot{R}(t)R(t{)}^T+R(t)\dot{R}(t{)}^T=0$$
$$\dot{R}(t)R(t{)}^T=-R(t)\dot{R}(t{)}^T$$
$$\dot{R}(t)R(t{)}^T=-(\dot{R}(t)R(t{)}^T{)}^T$$
由此，可知$\dot{R}(t)R(t{)}^T$为反对称矩阵，记$\dot{R}(t)R(t{)}^T=\varphi (t{)}^{\wedge }$, 等式两侧右乘$R(t)$:
$$\dot{R}(t)=\varphi (t{)}^{\wedge }R(t)$$

$$\dot{R}(t)=\left[\begin{array}{ccc}0& -{\varphi }_3& {\varphi }_2\\ {\varphi }_3& 0& -{\varphi }_1\\ -{\varphi }_2& {\varphi }_1& 0\end{array}\right]R(t)$$
由上式可知，每对旋转矩阵求一次导数，只需对其左乘一个$\varphi (t{)}^{\wedge }$。
$SO(3)$的单位元为：$t_0=0,R(0)=I$, 将$R(t)$ 在单位元附近进行一阶 泰勒展开：
$R(t)\approx R(t_0)+\dot{R}(t_0)(t-t_0)=I+\varphi (t_0{)}^{\wedge }R(t_0)(t-t_0)=I+\varphi (t_0{)}^{\wedge }t$

$\varphi$ 反应了旋转矩阵$R$的导数性质，称其在SO(3) 原点附近的正切空间上。
设$t_0$附近$\varphi$ 为常数不变：$\varphi (t_0)={\varphi }_0$, 则有：
$$\dot{R}(t)={\varphi }_0^{\wedge }R(t)$$
在初始条件$R(0)=I$ 下解微分方程，得到：
$$R(t)=\exp ({\varphi }_0^{\wedge }t)$$
上式称为李代数so(3)的指数映射关系。

李代数so(3)
向量空间： s o ( 3 ) = { Φ = ϕ ∧ ∈ R 3 × 3 ∣ ϕ ∈ ℜ 3 } so(3) = \{ \Phi = \phi^\wedge \in R^{3 \times 3} | \phi \in \Re^3\} so(3)={Φ=ϕ∧∈R3×3∣ϕ∈ℜ3}
数域： $\Re$
李括号：$[{\varphi }_a,{\varphi }_b]={\Phi }_a{\Phi }_b-{\Phi }_b{\Phi }_a={\varphi }_a^{\wedge }{\varphi }_b^{\wedge }-{\varphi }_b^{\wedge }{\varphi }_a^{\wedge }=({\varphi }_a^{\wedge }{\varphi }_b{)}^{\wedge }\in so(3)$
其中$\Phi ={\varphi }^{\wedge }$, 为反对称矩阵：

$$\Phi =\left[\begin{array}{ccc}0& -{\varphi }_3& {\varphi }_2\\ {\varphi }_3& 0& -{\varphi }_1\\ -{\varphi }_2& {\varphi }_1& 0\end{array}\right]\in {\Re }^{3\times 3}$$
视集合${\Re }^3$ 和叉乘运算作为$so(3)$

李代数se(3)
向量空间： s e ( 3 ) = { Ξ = ξ ∧ ∈ ℜ 4 × 4 ∣ ξ ∈ ℜ 6 } se(3) = \{\Xi = \xi^\wedge \in \Re^{4 \times 4} | \xi \in \Re^6 \} se(3)={Ξ=ξ∧∈ℜ4×4∣ξ∈ℜ6}
数域：$\Re$
李括号 : $[{\Xi }_1,{\Xi }_2]={\Xi }_1{\Xi }_2-{\Xi }_2{\Xi }_1$
$[{\Xi }_a,{\Xi }_b]={\Xi }_a{\Xi }_b-{\Xi }_b{\Xi }_a={\xi }_a^{\wedge }{\xi }_b^{\wedge }-{\xi }_b^{\wedge }{\xi }_a^{\wedge }=({\xi }_a^{\ast }{\xi }_b{)}^{\wedge }\in se(3)$
其中，参量$\xi$ 用于表示平移加旋转：
$$\xi =\left[\begin{array}{c}\rho \\ \varphi \end{array}\right]$$
$\rho \in {\Re }^3,\varphi \in so(3)$
${\xi }^{\wedge }$非反对称矩阵，但仍保留记法：
$${\xi }^{\wedge }=\left[\begin{array}{cc}{\varphi }^{\wedge }& \rho \\ 0^T& 0\end{array}\right]\in {\Re }^{4\times 4}$$
星计算${\xi }^{\ast }$定义为：
$${\xi }^{\ast }={\left[\begin{array}{c}\rho \\ \varphi \end{array}\right]}^{\ast }=\left[\begin{array}{cc}{\varphi }^{\wedge }& {\rho }^{\wedge }\\ 0& {\varphi }^{\wedge }\end{array}\right]\in {\Re }^{6\times 6}$$
视集合${\Re }^6$和星计算为se(3)

指数映射与对数映射
指数映射反应了从李代数到李群的转换，任意矩阵的指数映射可写成一个泰勒展开，其结果仍然是一个矩阵：
$$\exp (G)=\sum _{n=0}^{\infty }\frac{1}{n!}{G}^n$$
对数映射则反应了从李群到李代数的转换：
$$\ln (G)=\sum _{n=0}^{\infty }\frac{(-1{)}^n}{n+1}(G-I{)}^{n+1}$$

李群SO(3) 李代数so(3)
$\varphi$ 是一个向量，定义其模长为$\theta$, 方向为$a,\varphi =\theta a$, 其中， $a$ 为一个模长为1 的单位向量：$||a||=1$。
对于反对称矩阵$a^{\wedge }$, 易得：
式1：$a^{\wedge }{a}^{\wedge }=a{a}^T-I$
式2： $a^{\wedge }{a}^{\wedge }{a}^{\wedge }=a^{\wedge }(a{a}^T-I)=-a^{\wedge }$

李代数so(3)到李群SO(3) 的指数映射：
$\exp ({\varphi }^{\wedge })=\exp (\theta a^{\wedge })=cos\theta I+(1-cos\theta )a{a}^T+sin\theta a^{\wedge }$ 该式称为罗德里格斯公式，李代数so(3)的物理意义就是旋转向量。

SO(3)到so(3) 的对数映射如下：
$$\varphi =\ln (R{)}^{\vee }=(\sum _{n=0}^{\infty }\frac{(-1{)}^n}{n+1}(R-I{)}^{n+1}{)}^{\vee }$$
对数映射实现由旋转矩阵到旋转向量的转换，可使用刚体变换中计算方式，对指数映射两侧求迹从而简化计算：
$$\theta =\arccos \frac{tr(R)-1}{2}$$
$$Rn=n$$
若将旋转角度固定至$\pm \pi$中，则可认为李群、李代数中元素一一对应。

李群SE(3) 与 李代数se(3)
指数映射
李代数se(3) 到李群SE（3）的转换
$$\exp ({\xi }^{\wedge })=\left[\begin{array}{cc}R& J\rho \\ 0^T& 1\end{array}\right]=T$$
对数映射
从SE（3）到 se(3) 的转换，如下：
$$\xi =\ln (T{)}^{\vee }$$
在进行实际转移时，使用对数映射较为复杂。一般用$T$左上角旋转矩阵$R$求解旋转向量；再由右侧平移向量计算平移部分：
$$t=J\rho$$