ALbert和Bert简单解读
Albert和Bert代码简单介绍这篇文章将借助Albert的代码将Albert和Bert简单介绍一下。一 区别(Albert变化)词嵌入向量参数的因式分解 O(V * H) to O(V * E + E * H) V:字典个数。 E:输入层。 H:隐藏层。 如以ALBert_xxlarge为例,V=30000, H=4096, E=128 那么原先参数为V * H= 30000...
原创
2020-03-02 11:02:42 ·
2947 阅读 ·
0 评论