tdnnf浅解

中心思想是：在不影响模型的建模能力的情况下，将神经网络参数分解为两个矩阵，其中之一限制为半正交矩阵【目的：为了克服模型训练不稳定的情况】
模型进行随机初始化，训练带有bottleneck(瓶颈层)的模型，更高效【传统的SVD分解，需要在权重分解完后进行模型重新调优】
１．限制参数矩阵是半正交矩阵
1.1 Basic case
在模型训练过程中，每隔一段时间（代码中注释通常是每个minibatch更新一次）进行一次参数矩阵更新，更新为半正交矩阵(非方阵的正交矩阵)，而且需要更新的参数行数少于列数（否则先进行转置再进行参数更新，这个地方理解应该是bottleneck-dim*dim矩阵bottleneck-dim<dim）。

定义$$P\equiv M{M}^T$$对参数矩阵进行约束的条件是P = I（即P为单位矩阵）
参数更新的准则为，目标是最小化准则函数：$$f=tr\left(Q{Q}^T\right)$$其中$Q\equiv P-I$
由于Q为单位矩阵，因此$Q{Q}^T$为对角线对应位置的平方，它的迹为对角线位置的平方和。
对目标函数求导：$$\frac{\partial f}{\partial M}=\frac{\partial f}{\partial Q}\frac{\partial Q}{\partial P}\frac{\partial P}{\partial M}=2Q\cdot 1\cdot 2M=4Q\cdot M=4\left(M{M}^T-I\right)M$$
参数更新也有一个学习率$\nu$初始值为0.125，相当于是二次收敛。
参数更新公式： M ← M − ν ⋅ 4 ( M M T − I ) M M\leftarrow M - \nu\cdot4\left(MM^T-I\right)M M←M−ν⋅4(MM