[NeurIPS 2018] Hyperbolic neural networks

Introduction

• 作者认为，目前双曲几何的表征能力还不及欧氏几何的原因在于还没有相应的 hyperbolic neural network layers，这使得我们很难将 hyperbolic embeddings 应用到下游任务中。为此，作者将 Möbius gyrovector spaces 和 Poincaré model 进行了结合，最终推导出了一些神经网络的双曲版本：多项式逻辑回归模型 (Multinomial logistic regression, MLR), 前馈网络 (FFNN) 和 GRU 等循环神经网络 (RNN)，这使得我们能在双曲空间中进行数据嵌入和分类
• 这篇工作让我们能更好地在双曲空间中进行数据嵌入和分类，也给出了结合欧式模型和双曲模型的方法，这能启发我们更好地运用 hyperbolic embeddings. 下面是一些关于实验部分的问题：作者在实验时使用的 embed 维数还是很小的，而现在一般模型的 embed 维数很多都是 512、1024 等，这种小维数的实验设置有利于双曲模型，不知道在大维数的条件下双曲模型是否还具备优势？另外实验部分的结果似乎也表明，双曲模型只有在数据非常符合树形结构的情况下才有用，否则很可能性能还不如欧式模型；最后，作者在论文中提到 “highly non-convex spectrum of hyperbolic neural networks sometimes results in convergence to poor local minima, suggesting that initialization is very important”，这是否意味着双曲模型的训练比较不稳定？

The Geometry of the Poincaré Ball

Hyperbolic space: the Poincaré ball

• Poincaré ball 可以表示为 $({\mathbb{D}}^n,g^{\mathbb{D}})$，其中 D n = { x ∈ R n : ∥ x ∥ < 1 } \mathbb D^n=\{x\in\R^n:\|x\|<1\} Dn={x∈Rn:∥x∥<1}，$g^{\mathbb{D}}$ 为 Riemannian metric:
  其中 $g^E=I_n$ 为 Euclidean metric tensor. Induced distance 为
  同时 Poincaré ball model 还具有保角性
  

Gyrovector spaces (陀螺矢量空间)

• 在欧氏几何中，向量空间为我们提供了向量加减、标量乘等代数运算操作，而在双曲几何中，gyrovector spaces 则同样提供了这些代数运算操作，这些运算已经被运用在了狭义相对论中，可以在半径为 $c$ (the celerity, i.e. the speed of light) 的 Poincaré ball 中进行速度向量的相加，从而保证得到的速度大小不会超过光速。我们可以定义陀螺矢量空间 D c n : = { x ∈ R n ∣ c ∥ x ∥ 2 < 1 } \mathbb D_c^n:=\{x\in\R^n|c\|x\|^2<1\} Dcn​:={x∈Rn∣c∥x∥2<1} (i.e., Poincaré ball model of constant negative curvature $-c$)，其中 $c\ge 0$. 当 $c=0$ 时，有 ${\mathbb{D}}_c^n={\mathbb{R}}^n$，当 $c>0$ 时，${\mathbb{D}}_c^n$ 为半径 $1/\sqrt{c}$ 的 open ball，当 $c=1$ 时，${\mathbb{D}}_c^n$ 为单位球体

Möbius addition

• Möbius addition / Hyperbolic translation. The Möbius addition of $x$ and $y$ in ${\mathbb{D}}_c^n$ is defined as
  当 $c=0$ 时，Möbius addition 就退化为了欧氏几何中的向量加。当 $c>0$ 时，Möbius addition 不满足交换律和结合律，但它满足对任意 $x\in {\mathbb{D}}_c^n$ 都存在零元和逆元 $x{\oplus }_{c}0=0{\oplus }_{c}x=x$，$(-x){\oplus }_{c}x=x{\oplus }_c(-x)=0$. 并且满足左消去律 $(-x){\oplus }_c\left(x{\oplus }_{c}y\right)=y$. 下文作者将用 $\oplus$ 表示 ${\oplus }_1$.
  
• Möbius substraction
  

Möbius scalar multiplication

• Möbius scalar multiplication. For $c>0$, the Möbius scalar multiplication of x ∈ D c n \ { 0 } x\in \mathbb D^n_c\backslash\{\mathbf 0\} x∈Dcn​\{0} by $r\in \mathbb{R}$ is defined as
  注意到，$r{\otimes }_{c}0:=0$. 当 $c\to 0$ 时，可以得到 Euclidean scalar multiplication ${\lim }_{c\to 0}r{\otimes }_{c}x=rx$. Möbius scalar multiplication 满足如下性质：(1) $n$ additions. $n{\otimes }_{c}x=x{\oplus }_c\cdots {\oplus }_{c}x$；(2) scalar distributivity. $\left(r+r^{\prime }\right){\otimes }_{c}x=r{\otimes }_{c}x{\oplus }_c{r}^{\prime }{\otimes }_{c}x$；(3) scalar associativity. $\left(r{\otimes }_c{r}^{\prime }\right){\otimes }_{c}x=r{\otimes }_c\left(r^{\prime }{\otimes }_{c}x\right)$；(4) scaling property. $|r|{\otimes }_{c}x/\Vert r{\otimes }_{c}x\Vert =x/\Vert x\Vert$

Distance

• Distance. If one defines the generalized hyperbolic metric tensor $g^c$ as the metric conformal to the Euclidean one (i.e., $g^c={{\lambda }_x^c}^2{g}^E$, $g^E=I_n$ 为 Euclidean metric tensor), with conformal factor
  $${\lambda }_x^c:=2/\left(1-c\Vert x{\Vert }^2\right),$$then the induced distance function on $({\mathbb{D}}_c^n,g^c)$ is given by
  注意到，当 $c\to 0$ 时，可以得到欧式空间中的距离公式 ${\lim }_{c\to 0}{d}_c(x,y)=2\Vert x-y\Vert$，并且当 $c=1$ 时，我们能得到 Poincaré ball 中的距离公式
• 此外，由 conformal factor，我们还能进一步定义陀螺矢量空间中 $x$ 点处切空间中的内积和 norm：对 $u,v\in T_x{\mathbb{B}}_c^n$，有
  $$\begin{gathered} ⟨u,v{⟩}_x^c=({\lambda }_x^c{)}^2⟨u,v⟩ \\ \Vert v{\Vert }_x^c={\lambda }_x^c\Vert v\Vert \end{gathered}$$

Hyperbolic trigonometry

• Hyperbolic trigonometry. 双曲空间中的 hyperbolic angles or gyroangles 以及 hyperbolic law of sines in the generalized Poincaré ball $({\mathbb{D}}_c^n,g^c)$. 详见论文的附录 B

Connecting Gyrovector spaces and Riemannian geometry of the Poincaré ball

• Geodesics.
  当 $c\to 0$ 时，我们就得到了欧式几何中的直线
• Lemma 1. For any $x\in {\mathbb{D}}^n$ and $v\in T_x{\mathbb{D}}_c^n$ s.t. $g_x^c(v,v)=1$, the unit-speed geodesic starting from $x$ with direction $v$ is given by:
  One can sanity-check that $d_c(\gamma (0),\gamma (t))=t,\forall t\in [0,1]$. Proof. c.f. Appendix B in Ganea, et al.
• Exponential and logarithmic maps. 指数变换是在对 $p\in {\mathbb{D}}_c^n$ 施加微小扰动 $v\in T_p{\mathbb{D}}_c^n$ 后 (可以看作一个速度向量)，将切空间上的点映射回陀螺矢量空间上，使得 $t\in [0,1]\mapsto {\exp }_p^c(tv)$ 是连接了 $p$ 和 ${\exp }_p^c(v)$ 的测地线，i.e., a geodesic $\gamma$ starting from $\gamma (0):=x\in M$ with unit-norm direction $\dot{\gamma }(0):=v\in T_{x}M$ as $t\mapsto {\exp }_x(tv)$ (From a point $p$ follow a geodesic in direction $v$, at speed $t$.)。在欧氏空间中，指数变换为 ${\exp }_p(v)=p+v$. 对数变换则是指数变换的逆变换，给出了从 $p\in {\mathbb{D}}_c^n$ 到 $r\in {\mathbb{D}}_c^n$ 对应的切空间中的速度向量。在欧氏空间中，对数变换为 ${\log }_p(r)=r-p$ (图片来自于 Angulo, Jesus. “Structure tensor image filtering using Riemannian L1 and L∞ center-of-mass.” Image Analysis & Stereology 33.2 (2014): 95-105.)
  For any point $x\in {\mathbb{D}}_c^n$, the exponential map ${\exp }_x^c:T_x{\mathbb{D}}_c^n\to {\mathbb{D}}_c^n$ and the logarithmic map ${\log }_x^c:{\mathbb{D}}_c^n\to T_x{\mathbb{D}}_c^n$ are given for $v\ne 0$ and $y\ne x$ by:
  当 $c\to 0$ 时，就能得到欧氏空间中的指数变换和对数变换。当 $x=0$ 时，对任意 v ∈ T 0 D c n \ { 0 } , y ∈ D c n \ { 0 } v \in T_{\mathbf{0}} \mathbb{D}_c^n \backslash\{\mathbf{0}\}, y \in \mathbb{D}_c^n \backslash\{\mathbf{0}\} v∈T0​Dcn​\{0},y∈Dcn​\{0}，有
  Proof. c.f. Appendix B in Ganea, et al.
• Möbius scalar multiplication using exponential and logarithmic maps. 由于切空间为欧氏空间，便于进行各种运算，因此下面用指数变换和对数变换重新推导 Möbius scalar multiplication
  套用上述公式还能得到两点间测地线公式和指数变换间的关系
  
• Parallel transport. Parallel transport $P_{x\to y}^c:T_x{\mathbb{D}}_c^n\to T_y{\mathbb{D}}_c^n$ 定义了两个切空间之间的线性等距映射 (linear isometry)，它等价于将 $x$ 处切空间内的 tangent vector 沿着 $x$ 和 $y$ 间的测地线平行移动到 $y$ 处切空间得到的切向量。通过 Parallel transport，我们能将两个不同切空间联系起来。In the manifold $({\mathbb{D}}_c^n,g^c)$, the parallel transport w.r.t. the Levi-Civita connection of a vector $v\in T_0{\mathbb{D}}_c^n$ to another tangent space $T_x{\mathbb{D}}_c^n$ is given by the following isometry:
  这个结论在定义和优化由不同切空间共享的参数时很重要，例如 biases in hyperbolic neural layers 或者 parameters of hyperbolic MLR.

详细推导可参考原论文及作者的另一篇文章：
Octavian-Eugen Ganea, Gary Bécigneul, and Thomas Hofmann. Hyperbolic entailment cones for learning hierarchical embeddings. In Proceedings of the thirty-fifth international conference on machine learning (ICML), 2018.

Hyperbolic Neural Networks

Möbius version

• 类似于 Möbius scalar multiplication，我们可以定义映射 $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 的 Möbius version. (1) 向量通过对数映射投影至切空间；(2) 在切空间向量通过欧氏算子进行变换；(3) 通过指数映射投影回陀螺矢量空间
  当 $f$ 连续时，有 ${\lim }_{c\to 0}{f}^{{\otimes }_c}(x)=f(x)$. 上述定义满足如下性质：(1) morphism property. $(f\circ g{)}^{{\otimes }_c}=f^{{\otimes }_c}\circ g^{{\otimes }_c}$；(2) direction preserving. $f^{{\otimes }_c}(x)/\Vert f^{{\otimes }_c}(x)\Vert =f(x)/\Vert f(x)\Vert$ for $f(x)\ne 0$.
• 如果有多个映射函数 (对应神经网络中的多层)，则它们的复合对应的 Möbius version 为
  如果有多个输入 ($f:{\mathbb{R}}^n\times {\mathbb{R}}^p\to {\mathbb{R}}^m$)，则 Möbius version 为
  $$f^{{\otimes }_c}:\left(h,h^{\prime }\right)\in {\mathbb{D}}_c^n\times {\mathbb{D}}_c^p\mapsto {\exp }_0^c\left(f\left({\log }_0^c(h),{\log }_0^c\left(h^{\prime }\right)\right)\right)$$

Hyperbolic multiclass logistic regression (MLR) (softmax regression)

• 下面推导 MLR 的双曲版本用于多分类任务
• 首先看欧氏空间中的 MLR. 给定 $K$ 个类别，可以给每个类别学得一个 hyperplane $H_{a,b}$ 用于分类，$H_{a,b}$ 可以由法向量 $a$ 和标量偏置 $b$ 表示：
  样本属于各个类别的概率可以利用 softmax 表示为
  注意到，由于 $d(x,H_{a,b})=\frac{|⟨a,x⟩-b|}{\Vert a\Vert }$，因此有
  代入类别概率的表达式可知
  
• 我们不太容易能直接将 Euclidean hyperplane $H_{a,b}$ 推广到 Poincaré ball 中 (因为有标量偏置 $b$ 的存在，双曲空间中没有定义向量和标量的加法)，为此作者做了如下的变形。首先令 $b=⟨a,p⟩$，${\tilde{H}}_{a,p}=H_{a,⟨a,p⟩}$，有
  其中 { a } ⊥ \{a\}^\perp {a}⊥ 为所有与 $a$ 垂直的向量集合。现在我们可以将类别概率写为如下形式
  
• 有了如上定义，现在我们可以将 MLR 推广到双曲空间。首先，我们可以将 ${\tilde{H}}_{a,p}$ 推广到双曲空间得到 Poincaré hyperplanes
  其中 $⟨\cdot ,\cdot ⟩$ 为欧氏空间上的内积。注意到，$a$ 是定义在 $p$ 的切空间上的 ，而 $x,p$ 都是在 manifold 上的，因此欧氏空间上的 $⟨-p+x,a⟩$ 被推广为了 $p$ 点切空间上的内积 $⟨{\log }_p^c(x),a{⟩}_p$. 最后一个等式的证明过程可以参考论文附录 D. 从 Poincaré hyperplane ${\tilde{H}}_{a,p}^c$ 的定义中可以看出，${\tilde{H}}_{a,p}^c$ 也可以被定义为 the union of images of all geodesics in ${\mathbb{D}}_c^n$ orthogonal to $a$ and containing $p$，$a$ 为法向量，$p$ 为 hyperplane 上的一点。下面两图展示了双曲空间中的 2D hyperplane 和 3D hyperplane
  
• 有了 Poincaré hyperplane 的定义，我们可以求得 $x\in {\mathbb{D}}_c^n$ 到 ${\tilde{H}}_{a,p}^c$ 的距离 (证明过程参考论文附录 E)
  
• 最后将上式代入类别概率公式，并将 $+$ 替换为 ${\oplus }_c$，将 $\Vert a_k\Vert$ 替换为 $g_{p_k}^c(a_k,a_k)$，可得 Final formula for MLR in the Poincaré ball.
  (这里为什么式 (23) 里省去了符号函数？) 并且当 $c\to 0$ 时，有
  $$p(y=k\mid x)\propto \exp \left(4⟨-p_k+x,a_k⟩\right)=\exp \left({\left({\lambda }_{p_k}^0\right)}^2⟨-p_k+x,a_k⟩\right)=\exp \left({⟨-p_k+x,a_k⟩}_0\right)$$可以得到 Euclidean softmax
• 在参数优化时，由于 $p_k$ 在 manifold 上，因此可以使用黎曼随机梯度下降进行优化，而 $a_k$ 在 $p_k$ 的切空间上，难以直接优化，因此我们可以利用 parallel transport 将其用原点切空间 (欧氏空间) 上的 $a_k^{\prime }\in T_0{\mathbb{D}}_c^n={\mathbb{R}}^n$ 表示，然后将 $a_k^{\prime }$ 作为欧式参数优化即可
  

Hyperbolic feed-forward layers

• Möbius matrix-vector multiplication. 基于 Möbius version 的定义，我们可以进一步定义更多操作的 Möbius version
  
• Pointwise non-linearity. If $\phi :{\mathbb{R}}^n\to {\mathbb{R}}^n$ is a pointwise non-linearity, then its Möbius version ${\phi }^{{\otimes }_c}$ can be applied to elements of the Poincaré ball.
• Bias translation. Möbius translation of a point $x\in {\mathbb{D}}_c^n$ by a bias $b\in {\mathbb{D}}_c^n$ is given by
  
• Concatenation of multiple input vectors. 给定 $x_1\in {\mathbb{D}}_c^n,x_2\in {\mathbb{D}}_c^p,x\in {\mathbb{D}}_c^n\times {\mathbb{D}}_c^p$ 为 $x_1,x_2$ 的连接，$M_1\in {\mathcal{M}}_{m,n}(\mathbb{R}),M_2\in {\mathcal{M}}_{m,p}(\mathbb{R})$ 为两个线性变换的矩阵，$M\in {\mathcal{M}}_{m,n+p}(\mathbb{R})$ 为 $M_1$ 和 $M_2$ 的水平连接矩阵，则有
  

Hyperbolic RNN

• Naive RNN.
  其中 $\phi$ 为 tanh / sigmoid / ReLU，$W\in {\mathcal{M}}_{m,n}(\mathbb{R}),U\in {\mathcal{M}}_{m,d}(\mathbb{R}),b\in {\mathbb{D}}_c^m$. 如果 $x_t$ 为欧氏空间中的向量，则需要事先做指数变换 ${\tilde{x}}_t:={\exp }_0^c(x_t)$ 再代入上式. The base point $x$ is usually set to $0$ which makes formulas less cumbersome and empirically has little impact on the obtained results.
• GRU architecture. 欧氏空间里的 GRU 运算如下，包括 reset 门 $r_t$ 和 update 门 $z_t$
  先写出门控电路 $f(h,h^{\prime }):=\sigma (h)\odot h^{\prime }$ 的双曲版本：$f^{{\otimes }_c}\left(h,h^{\prime }\right)={\exp }_0^c\left(\sigma \left({\log }_0^c(h)\right)\odot {\log }_0^c\left(h^{\prime }\right)\right)={\exp }_0^c\left(\text{diag}(\sigma ({\log }_0^c(h)))\cdot {\log }_0^c\left(h^{\prime }\right)\right)=\text{diag}(\sigma ({\log }_0^c(h))){\otimes }_c{h}^{\prime }$. 因此可以将 reset gate $r_t$ 和 update gate $z_t$ 写为
  $$\begin{gathered} r_t=\sigma {\log }_0^c\left(W^r{\otimes }_c{h}_{t-1}{\oplus }_c{U}^r{\otimes }_c{x}_t{\oplus }_c{b}^r\right) \\ {z}_t=\sigma {\log }_0^c\left(W^z{\otimes }_c{h}_{t-1}{\oplus }_c{U}^z{\otimes }_c{x}_t{\oplus }_c{b}^z\right) \end{gathered}$$隐藏单元的更新可以写为
  $$\begin{array}{rl}{\tilde{h}}_t& ={\phi }^{{\otimes }_c}\left(W{\otimes }_c(\mathrm{diag}\left(r_t\right){\otimes }_c{h}_{t-1}){\oplus }_{c}U{\otimes }_c{x}_t{\oplus }_{c}b\right)\\ & ={\phi }^{{\otimes }_c}\left(\left(W\mathrm{diag}\left(r_t\right)\right){\otimes }_c{h}_{t-1}{\oplus }_{c}U{\otimes }_c{x}_t{\oplus }_{c}b\right)\\ h_t& =h_{t-1}{\oplus }_c\mathrm{diag}\left(z_t\right){\otimes }_c\left(-h_{t-1}{\oplus }_c{\tilde{h}}_t\right)\end{array}$$

Experiments

• SNLI task and dataset. SNLI 为 natural language inference / textual entailment 数据集 (判断给定前提是否蕴含给定假设)，包含了 570K training, 10K validation and 10K test 句子对
• PREFIX task and datasets. PREFIX 是作者人工合成的数据集，用于测试双曲模型在符合树状结构的数据上的性能。任务为 detection of noisy prefixes, i.e. 给定句子对，判断第二个句子是否为第一个句子的带噪前缀，或是一个随机句子。PREFIX-Z% (for Z being 10, 30 or 50) 表示对于对一个句子的随机前缀，第二个句子的正样本通过替换前缀中 Z% 的单词来生成，负样本则为随机生成的等长句子
• Models architecture. 双曲模型可以像欧式模型一样叠加 $n$ 层构造网络，也可以结合欧式模型一起使用，但优化时必须使用黎曼优化。作者使用两个不同的 RNN 或 GRU 模型编码两个句子，得到的 embed 和这两个句子间的 squared distance (hyperbolic or Euclidean, depending on their geometry) 一起送入 FFNN (Euclidean or hyperbolic)，最后由 MLR (Euclidean or hyperbolic) 进行分类，损失函数为 CE loss
• Results. 可以看到欧式模型在 SNLI 上性能优于双曲模型，作者认为这可能是因为 Adam 等优化算法还没有对应的双曲版本。双曲模型在具有树形结构的数据上性能优于欧式模型，在 PREFIX 数据集上，随着 Z 值越来越大，数据就越来越不符合树形结构，欧式模型和双曲模型之间的性能差距也就越来越小
  
• MLR classification experiments. 在 SNLI 数据集上，双曲 MLR 相比欧式 MLR 没有展现出足够的优势，作者认为这可能是因为在端到端训练时，模型得到的 embed 可以使得欧式 MLR 就已经能很好地进行分类。为了进一步展示双曲 MLR 的优势，作者进行了额外的实验，选取 WordNet 的子树，判断 node 是否属于该子树。模型结构上使用 WordNet 上预训练得到的 word embed，然后分别使用 hyper-bolic MLR, Euclidean MLR applied directly on the hyperbolic embeddings 以及 Euclidean MLR applied after mapping all embeddings in the tangent space at $0$ using the ${\log }_0$ map 进行二分类
  下图展示了 2-dimensional embeddings and the trained separation hyperplanes
  

References

• paper: Ganea, Octavian, Gary Bécigneul, and Thomas Hofmann. “Hyperbolic neural networks.” Advances in neural information processing systems 31 (2018).
• code: https://github.com/dalab/hyperbolic_nn
• 脱离欧氏空间，在双曲空间中做 NLP
• Guo, Yunhui, et al. “Clipped Hyperbolic Classifiers Are Super-Hyperbolic Classifiers.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.