python安装bert模型_BERT: pytorch与tf 模型互转

背景

BERT是google出的, 理所当然使用tf框架, 但是目前很多项目是使用pytorch框架的, 所以就需要在两个框架之间转换bert模型.

方法

pytorch to tf

主要使用huggingface的转换脚本.但是有几个地方需要修改:

修改包导入:

from transformers import BertModel为from modeling_bert import BertModel

修改L102, load模型的参数:

model = BertModel.from_pretrained(

pretrained_model_name_or_path=args.model_name,

state_dict=torch.load(args.pytorch_model_path),

cache_dir=args.cache_dir,

)

为:

model = BertModel.from_pretrained(

state_dict=torch.load(args.pytorch_model_path)

)

最后运行脚本:

python convert_bert_pytorch_checkpoint_to_original_tf.py --model_name --pytorch_model_path --tf_cache_dir

其中model_name随便指定一个即可, 没有影响, 不过需要在当前目录下新建model_name目录, 然后把pytorch模型对应的config.json放到该目录下.其他两个参数就是对应的模型了, 没什么好解释的.

tf to pytorch

也是使用huggingface的转换脚本.

如果是bert base

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值