【Python编程】transformers系列-1. Ubuntu上安装配置使用transformers4版本

前言

transformers是知名的预训练语言模型库，其提供了详细的安装配置教程：https://huggingface.co/transformers/installation.html#installing-from-source。本文主要使用conda完成其环境配置。
本文在Ubuntu18.04，8张2080ti，CUDA10.2下进行测试。

配置过程

创建虚拟环境：

conda create -n py36_transformers_4 python=3.6

激活虚拟环境：

conda activate py36_transformers_4

安装最新版transformers：

conda install -c huggingface transformers

安装pytorch：

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch-lts

也可以参考pytorch官网，安装历史版本：https://pytorch.org/get-started/previous-versions/

测试安装

测试代码

在命令行输入以下命令进入python命令行界面：

python

根据https://github.com/scutcyr/transformers#quick-tour，使用以下代码测试安装是否成功：

>>> from transformers import pipeline
# Allocate a pipeline for sentiment-analysis
>>> classifier = pipeline('sentiment-analysis')
>>> classifier('We are very happy to include pipeline into the transformers repository.')
[{'label': 'POSITIVE', 'score': 0.9978193640708923}]

测试报错

运行from transformers import pipeline便提示错误：ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29’ not found。

glibc是gnu发布的libc库，即c运行库。glibc是linux系统中最底层的api，几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现。同时，错误地升级glibc将会毁掉一个系统（以至于无法登录）。

查阅发现某解决方案/usr/lib64/libm.so.6: version `GLIBC_2.29 not found–安装GLIBC_2.29 package、glibc升级到2.29 linux系统/lib64/libc.so.6版本升级，由于原博客不能直接复制粘贴指令，这里重复贴出其步骤：
1、下载相应包：

cd /usr/local
wget http://ftp.gnu.org/gnu/glibc/glibc-2.29.tar.gz

2、解压到当前文件夹：

tar -zxvf glibc-2.29.tar.gz

3、打印备份环境变量

echo $LD_LIBRARY_PATH

4、安装

cd /usr/local
./glibc-2.29/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make  
make install

5、检查是否安装成功

strings /lib64/libc.so.6 |grep GLIBC_2.29

6、GCC版本依赖
安装多个高版本gcc，如下：

sudo apt install gcc-8 g++-8 gcc-9 g++-9 gcc-10 g++-10

设置优先级：

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 80 --slave /usr/bin/g++ g++ /usr/bin/g++-8 --slave /usr/bin/gcov gcov /usr/bin/gcov-8

如果要更改默认版本，请使用以下update-alternatives命令：

sudo update-alternatives --config gcc

系统将为您提供Ubuntu系统上所有已安装的GCC版本的列表。输入您要用作默认版本的版本号，然后按Enter。该命令将创建指向GCC和G ++特定版本的符号链接。