12层的bert参数量_小白Bert系列-albert

albert https://arxiv.org/pdf/1909.11942.pdf

主要几点：

1.词嵌入部分进行矩阵分解减少参数量

2.block参数共享较少参数，更好鲁棒性

3.改用sop学习句子顺序关系

4.去掉dropout，增加数据源

还有一点 ngram masking 意思就是之前任务中都是masking单个字，ngram相当于是短语，任务更难了。

1.矩阵分解

在bert模型中，词嵌入向量部分通过全连接方式学习， 设词汇量为V，词向量维度和隐藏层维度H是一样。那词嵌入矩阵大小为V*H。例如bert中的场景下就是30522*768=2400万参数，如果引入中间矩阵E进行因式分解。

那么由原来的 O(V * H) -> O(V*E + E*H)

假设中间矩阵大小为128 参数量就会变成，30522*128 + 128*768=400万，可见参数减少了6倍。

为啥这样操作呢？

下图原始词输入网络中是one-h