tensorflow的bert模型转为pytorch

1.目录结构解释

chinese_L-12_H-768_A-12/
├── bert_config.json                     <- 模型配置文件
├── bert_model.ckpt.data-00000-of-00001  <- 保存断点文件列表，可以用来迅速查找最近一次的断点文件
├── bert_model.ckpt.index                <- 为数据文件提供索引，存储的核心内容是以tensor name为键以BundleEntry为值的表格entries，BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。
├── bert_model.ckpt.meta                 <- 是MetaGraphDef序列化的二进制文件，保存了网络结构相关的数据，包括graph_def和saver_def等
└── vocab.txt                            <- 模型词汇表文件

2安装

tensorflow、transform、pytorch

3命令

注意：路径（ /home/wl/code/single/chinese_roberta_wwm_large_ext_L-24_H-1024_A-16）要换为自己的。

注意：文件名的对应关系

transformers-cli convert --model_type bert \
  --tf_checkpoint /home/wl/code/single/chinese_roberta_wwm_large_ext_L-24_H-1024_A-16/bert_model.ckpt \
  --config /home/wl/code/single/chinese_roberta_wwm_large_ext_L-24_H-1024_A-16/bert_config.json  \
  --pytorch_dump_output /home/wl/code/single/chinese_roberta_wwm_large_ext_L-24_H-1024_A-16/pytorch_model.bin