Albert-加速Bert训练的新思路(Albert从论文到源码)

背景

自从Bert横扫各大榜单之后，对Bert的尝试就没有停止过。在这种思路下，实验显示隐藏层数越多，参数量越多，模型的效果越好。虽然效果变好，但是由于GPU/TPU的限制，这些SOA的模型要单机跑起来是很困难的。因此文中提出了一种参数共享的新思路。

Albert的改进

Albert主要是从三方面对Bert进行了改进

Emebdding因式分解(Factorized embedding parameterization)

在Bert, XLNet, RoBERTa这些模型中，WordPiece Emebeding的大小和hidden size的大小一致。这里来解释一下hidden size, 指的是transformer的encoder中的hidden size。即E=H

对于模型来时WordPiece Emebeding是学习上下文无关的表示，而hidden size则学习的是上下文有关的表示，后者明显更加复杂。因此正常情况下H应该是大于E的。但是随着H变大，正常情况下词汇表V是非常大的，如果E随着H增大，embedding matrix就会非常大。

文中提出了对Encoder层进行因式分解，打破了E和H之间的关系。具体的做法是将embedding matrix分解成了两个矩阵V*E和E*H，这样当H非常大的时候可以有效地降低embedding matrix的计算量。在代码中的体现则是在Encoder层中增加了embedding_hidden_mapping_in层，即增加了E*H的矩阵。使得Embedding层和Encoder层解除绑定。

class AlbertEncoder(nn.Module):
    def __init__(self, config):
        super(AlbertEncoder, self).__init__()
        self.hidden_size = config.hidden_size
        self.embedding_size = config.embedding_size
        self.embedding_hidden_mapping_in = nn