查看NLP预训练模型参数量

JY HUA

已于 2023-05-15 19:21:16 修改

阅读量796

点赞数

分类专栏： nlp python

于 2021-10-28 16:00:10 首次发布

本文链接：https://blog.csdn.net/CallMeYunzi/article/details/121016414

版权

BERT GPT 参数量模型复杂度 PyTorch

关键词由CSDN通过智能技术生成

python 同时被 2 个专栏收录

20 篇文章 0 订阅

订阅专栏

nlp

11 篇文章 0 订阅

订阅专栏

# bert
from transformers import BertModel, BertConfig

config = BertConfig.from_json_file('bert-base/config.json')
bert_model = BertModel(config, add_pooling_layer=True)
pytorch_total_params = sum(p.numel() for p in bert_model.parameters() if p.requires_grad)
print('模型参数量： ', pytorch_total_params)

# gpt
from transformers import GPT2Config, GPT2Model

config = GPT2Config.from_json_file('gpt2-config.json')
model = GPT2Model(config)
pytorch_total_params = sum(p.numel() for p in model.parameters() if p.requires_grad)
print('模型参数量： ', pytorch_total_params)

# gpt