谷歌经典bert模型从下载源码到运行成功

最新推荐文章于 2024-08-08 07:29:55 发布

17不想当码农

最新推荐文章于 2024-08-08 07:29:55 发布

阅读量5.2k

点赞数 12

文章标签： bert 深度学习自然语言处理

本文链接：https://blog.csdn.net/qq_44532527/article/details/122450657

版权

谷歌经典bert模型从下载源码到运行成功

近期，对谷歌经典bert模型进行了简单的学习，以官方模型代码为主要学习目标，目前已经成功完成预训练任务，结果如图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xjODVQXx-1641960885960)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112102135634.png)]$

下载源码

官方代码和与训练模型链接：https://github.com/google-research/bert

在这里插入图片描述
论文链接：https://arxiv.org/abs/1810.04805

配置环境

1.版本问题

（1）python版本

这个代码支持的python版本<3.8 建议大家使用3.6或者3.7版本的python

在这里插入图片描述

（2）tensorflow版本

在官方代码中，有一个requirements.txt 提到了tensorflow版本问题 $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P9xYZRqR-1641960885969)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112102933581.png)]$
需要安装符合要求的tensorflow版本
附上安装tensorflow指定版本的指令：(8条消息) 使用清华镜像pip安装TensorFlow_FGY_u的博客-CSDN博客_pip 安装tensorflow 清华镜像

一定要注意版本对应问题：我的安装版本是python3.6和tensorflow 1.15.0

很多时候运行出问题都是因为版本不对应引起的：

python 与tensorflow版本对应清单链接：在 Windows 环境中从源代码构建 | TensorFlow (google.cn)

我在这直接放图了，大家也可以点击上方直接进原网站查看：

CPU:

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-495rRJlE-1641960885971)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112104116856.png)]$

GPU:
在这里插入图片描述

（3）其他版本问题：

在我运行该模型的时候，关于版本不匹配问题还有很多：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z1K2YDjI-1641960885974)(C:\Users\DELL\Desktop\QQ图片20220112110112.png)]$

这个就是tensorflow python keras三者之间版本不匹配的问题

我查了一下 python tensorflow keras 三者之间的版本对应关系，将keras更新到 2.3.1即可解决问题

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NdvQGjLC-1641960885976)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112110316026.png)]$

参考链接：tensorflow + python + keras 版本对应关系 - feiquan - 博客园 (cnblogs.com)

数据集下载

数据集下载链接，这个在github源码的README.md 有给出，该文件也给出了模型的运行方式，参数设置方式等等

（1）预训练模型的下载：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZnOima6F-1641960885978)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112112053111.png)]$

这里附上文件的网盘链接，有需要自取即可

链接：https://pan.baidu.com/s/1xcC6rdo6o7gn1VLB1-sq5w
提取码：o203

（2）GLUE数据集的下载

在这个地方我遇到了一些问题，可能是因为下载源是在国外，我在pycharm terminal 直接运行的官方给的下载脚本

download_glue_data.py（下载脚本）：
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yPBGMioN-1641960885980)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112112659486.png)]$

运行指令大概是这样：（注意 task 是MRPC）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-awQlyrGB-1641960885981)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20220112112908140.png)]$

但是在输入运行脚本的指令之后，我一直卡在了processing MRPC 不动了

我就另外找了个glue数据集，这里提供原文链接：(8条消息) GLUE-MRPC数据集下载（国内）_Acecai01的博客模板-CSDN博客_mrpc数据集

参数设置

官方给的那些参数，不一定适合所有的人，首先他给的Linux系统下的指令在设置环境变量那条 windows 与Linux 系统是有较大差别的

Linux的就不多说了，和官方格式一样，只需要修改一下路径就好了

Windows 在cmd中设置环境变量可以参考：(8条消息) Windows–cmd命令行添加环境变量_TLCrow的博客-CSDN博客_命令行添加环境变量

这是官方给出的参数：

在这里插入图片描述

如果不太想设置环境变量，可以不使用export（Linux）/set（Windows）指令

直接把参数中对应的BERT_BASE_DIR 和GLUE_DIR 换成你下载的数据集所在的绝对路径，这样可以基本保证路径方面不出错

在输入python 后面那一堆参数的时候，要注意把每个参数后面的下划线去掉，对于train_batch_size 这个参数如果32觉得太大了，可以设置成 16 8 大小

Project Structure：

在这里插入图片描述

我的运行指令如下：

python run_classifier.py --task_name=MRPC --do_train=true --do_eval=true --data_dir=..\GLUE\glue_data\MRPC --vocab_file=..\GLUE\uncased_L-12_H-768_A-12\vocab.txt --bert_config_file=..\GLUE\
uncased_L-12_H-768_A-12\bert_config.json --init_checkpoint=..\GLUE\uncased_L-12_H-768_A-12\bert_model.ckpt --max_seq_length=128 --train_batch_size=8 --learning_rate=2e-5 --num_train_epochs=3.0 --output_dir=/tmp/mrpc_output

具体路径大家以自己文件的放置位置为准，每个人设置的参数都不太一样