在GPU服务器上使用新版的transformers包报了一个错
ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by
/home/tangyi/miniconda3/envs/pytorch_gpu/lib/python3.7/site-packages/tokenizers/tokenizers.cpython-37m-x86_64-linux-gnu.so)
google一番找到解决方法
https://stackoverflow.com/questions/67636846/importerror-when-from-transformers-import-berttokenizer
推测新版transformers的tokenizer需要2.29版本的GLIBC,但是Ubuntu 16不支持
解决方法1:使用老版本的transformers
亲测可行
conda install -c huggingface tokenizers=0.10.1 transformers=4.6.1
尝试解决方法2:升级Ubuntu至版本18
结果:升级到18仍然解决不了问题。