huggingface transformers使用心得

安装和使用代码在huggingface官网可见，本博客不在赘述，这里只记录一些博主使用过程中的想法和遇到的一些问题。

一，使用huggingface transformers bert处理中文文本出现问题。

加载中文bert模型'bert-base-chinese'，第一次运行代码下载vocab，预训练参数等文件时，网络断了，导致下载中断。重新联网，然后再次运行同样的代码出现问题，程序不报错，但是也不正确输出结果，一直处于运行中的状态。

解决方法：删除下载的临时文件。

打开预训练模型的下载位置，默认是~/.cache/huggingface/transformers/，使用ll命令查看已下载文件，可以看到相同名称的文件都有三份，如下图：

而之前因为下载中断有一个文件只有一份（或者两份），且目录下有一个tmp开头的临时文件，估计这就是未下载完成的文件了。

删除上述临时文件，同时删除只有一份（或者两份）的那个文件，然后运行代码，就会重新开始下载'bert-base-chinese'相关的文件。

下载成功后，代码也运行成功了。

二，其他问题有待补充。