如何使用Pytorch-huggingface-Bert预训练模型

安装及环境准备

首先创建一个用于本次任务的虚拟环境，然后可以开始安装需要的东西

tensorflow

pip install --upgrade tensorflow

验证安装效果：

python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"

pytorch

pip install torch torchvision

验证安装效果:

python -c "import torch;x = torch.rand(5, 3);print(x)"

transformers

pip install transformers

导入Bert系列预训练模型

• 1、通过hugging face官网自动导入（此方法需要外网连接）
  这个方法需要从官方的s3数据库下载模型配置、参数等信息（代码中已配置好位置）。

model = BertModel.from_pretrained('bert-base-uncased')

目前主要有三个常见的中文bert语言模型
- bert-base-chinese
- roberta-wwm-ext
- ernie
</