pytorch bert to paddle 模型转化

问题描述

本地使用领域语料预训练Bert，将生成的pytorch_model.bin模型转化成paddle使用的model.pdparams模型。

过程

1. pytorch > onnx

   准备库：pytorch要大于等于1.8.0

   pip install transformers[onnx]
   

   先将预训练模型保存成.pt格式

   from transformers import AutoTokenizer, AutoModelForSequenceClassification
   
   # Load tokenizer and PyTorch weights form the Hub
   tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
   pt_model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
   # Save to disk
   tokenizer.save_pretrained("local-pt-checkpoint")
   pt_model.save_pretrained("local-pt-checkpoint")
   

   然后将local-pt-checkpoint文件夹内的模型转化成onnx，放入onnx文件夹

   python -m transformers.onnx --model=local-pt-checkpoint onnx/
   

2. onnx > paddle

   准备库：

   pip install x2paddle
   conda install -c paddle paddlepaddle  sympy
   

   将onnx 转化成 paddle，存入pd_model中。

   x2paddle --framework=onnx --model=onnx/model.onnx --save_dir=pd_model
   

   附一张成功转化截图，标红位置为需要填的模型的输入形状和成功结果！
   
   文件内容图：
   
   
   
   

祝您顺利！

参考

1. https://huggingface.co/docs/transformers/serialization
2. https://blog.csdn.net/qq_37541097/article/details/119906697