multi-teacher学习

多老师学习：
1.Learning from Multiple Teacher Networks
1)不同example 输入到网络会有不同的输出，（x1,x2,x3）得到（p1,p2,p3）,(q1,q2,q3)，怎么保证||q1-q2||和||q1-q3||的相对距离（q2和q3谁取胜）和||p1-p2||和||p1-p3||的相对距离相近（p2和p3谁取胜）。
2)如果是多个老师的话，因为不同老师可能结果不同还是有噪音，所以取老师们中数量较多的结果。作为multi-teachers的结果。
3)具体还有选择哪些层作为immediate layer。
问题：训练实例输出的距离差感觉不适合NLP。

2.MOG,
1）是chair通过隐向量来动态决定权重的。
2）共用一个encoder的（teach的模型，针对不同的数据源，应该encoder参数也不同？应该retrieval一个不用考虑这个问题）
3）experts是分领域训练的，chair是整个数据集训练的（感觉可以删掉，毕竟是要一个简单的stud模型）。
问题：expert需要预训练。没看懂chair怎么整合的。
4）
experts怎么融合。
${\mathbf{p}}_j={\sum }_{l=1}^{k+1}{\beta }_j^l\cdot {\mathbf{p}}_j^l$
$\begin{array}{rl}{\beta }_j^l& =\frac{\exp \left(u_l^T{u}_{e,l}\right)}{{\sum }_{b=1}^k\exp \left(u_b^T{u}_{e,l}\right)}\\ u_l& =\mathrm{MLP}(\mathbf{h})\\ \mathbf{h}& ={\mathbf{s}}_j^1\oplus {\mathbf{p}}_j^1\oplus \cdots \oplus {\mathbf{s}}_j^k\oplus {\mathbf{p}}_j^k\oplus {\mathbf{s}}_j^{k+1}\oplus {\mathbf{p}}_j^{k+1}\end{array}$
$u_{e,l}$ is an expert-specific, learnable vector that reflects which dimension of the projected hidden representation is highlighted for the expert. 在第j步时$u_l^T$是所有状态加起来。
loss怎么计算
1)experts的loss
${\mathcal{L}}_{\text{experts}}={\sum }_{l=1}^{k+1}{\sum }_{\left(X^l,Y^l\right)\in S_l}$