各种PLM 参数量大小

目录

BERT参数量：

t5参数量：

 mt5参数量：

---

BERT参数量：

BERT-Base版本：12层Transformer， 隐藏单元数768维度，12个注意力头，参数量为110.

BERT-Large版本：24层Transformer， 隐藏单元数1024维度，16个注意力头，参数量为340.

t5参数量：

参考链接：reference

• base版本：24层，隐层768维，12个注意力头，参数量为220M
• small版本：12层，隐层 512维，8个注意力头，参数量约为60M
• Large版本：48层，隐层1024维，16个注意力头，参数量约为770M
• 3B和11B版本：48层，隐层1024维，分别为32/128个注意力头，参数量达到了 2.8B和11B

 下载地址：

https://huggingface.co/t5-base/tree/main

 mt5参数量：

参考链接：reference

• mT5-Small (300 million parameters): gs://t5-data/pretrained_models/mt5/small
• mT5-Base (580 million parameters): gs://t5-data/pretrained_models/mt5/base
• mT5-Large (1.2 billion parameters): gs://t5-data/pretrained_models/mt5/large
• mT5-XL (3.7 billion parameters): gs://t5-data/pretrained_models/mt5/xl
• mT5-XXL (13 billion parameters): gs://t5-data/pretrained_models/mt5/xxl

下载地址：https://huggingface.co/google/mt5-base