QUARTERNION RECURRENT NEURAL NETWORKS

文章来源：
Parcollet T, Ravanelli M, Morchid M, et al. Quaternion Recurrent Neural Networks[C]//International Conference on Learning Representations. 2018.
在四元数密集层(desne layer)中，所有参数都是四元数，包括输入、输出、权重和偏移。QRNN的方法是本文提出的，在全连接的推论过程中，使用了与普遍操作不同的定义过程，之前的可以理解为矩阵相乘，这里为四元数矩阵的哈密顿乘积（矩阵中的每一项是一个四元数）。
如果输入向量为$N$，输出向量为$M$，维度可以被划分为四个部分：第一个部分是$r$， 第二个部分是$x_i$，第三个部分是$y_j$, 第四个部分是$z_k$。四元数被表示为：
$$Q=r1+x_{\mathbf{i}}+y_{\mathbf{j}}+z_{\mathbf{k}}$$
四元数的共轭表示为：
$$Q=r1-x_{\mathbf{i}}-y_{\mathbf{j}}-z_{\mathbf{k}}$$
两种方法以矩阵方式表示四元数。第一种是通过二阶复数矩阵。第二种是以四阶实数矩阵表示四元数：
$$Q_{\text{mat}}=\left[\begin{array}{cccc}r& -x& -y& -z\\ x& r& -z& y\\ y& z& r& -x\\ z& -y& x& r\end{array}\right]$$
标准化的四元数表示为：
$$Q^{◃}=\frac{Q}{\sqrt{r^2+x^2+y^2+z^2}}$$
两个四元数的哈密顿积表示为：
$$\begin{array}{rl}{Q}_1\otimes Q_2=& \left(r_1{r}_2-x_1{x}_2-y_1{y}_2-z_1{z}_2\right)+\left(r_1{x}_2+x_1{r}_2+y_1{z}_2-z_1{y}_2\right)\mathbf{i}+\\ & \left(r_1{y}_2-x_1{z}_2+y_1{r}_2+z_1{x}_2\right)\mathbf{j}+\left(r_1{z}_2+x_1{y}_2-y_1{x}_2+z_1{r}_2\right)\mathbf{k}\end{array}$$
输入是一个四元数，输出是一个四元数，权重是四元数，偏置也是四元数

四元数有三个虚部，并且${\mathbf{i}}^2={\mathbf{j}}^2={\mathbf{k}}^2=\mathbf{ijk}$
依据RNN的前向传播（注意拼接和加）表示为，
$$h_t=\alpha \left(W_{hh}{h}_{t-1}+W_{hx}{x}_t+b_h\right)$$
四元数的前向传播表示为：
$$h_t=\alpha \left(W_{hh}\otimes h_{t-1}+W_{hx}\otimes x_t+b_h\right)$$
一个四元数的激活函数表示为：
$$\alpha (Q)=f(r)+f(x)\mathbf{i}+f(y)\mathbf{j}+f(z)\mathbf{k}$$
$f(\cdot )$是一个标准的激活函数。

四元数的几何意思

为什么要用四元数？

https://zhuanlan.zhihu.com/p/27471300?group_id=862339882582945792

向量之间具有内积和外积之分，这种乘法是不完美的，因为不满足群条件。
四元数可以解决万向节死锁问题。

https://blog.csdn.net/junshen1314/article/details/43085003