特别注意
1、python 版本对应
2、如果使用conda进行环境管理,一定要注意你当前pip实在那个环境下面!!!!!
第一步 基础环境
python3.6
Archiconda3
华为云官方教程:https://www.huaweicloud.com/kunpeng/software/anaconda.html
建议使用bash进行执行!!!
第二步 sentencepiece C++编译搭建
为啥!!!
主要是为了后面python配置提供基础环境。
具体操作
步骤一 安装环境依赖
ubuntu系统:
sudo apt-get install cmake build-essential pkg-config libgoogle-perftools-dev
centos系统:
sudo yum install cmake pkg-config gperfools-devel
步骤二 源文件编译
注意:检查 cmake版本 和 gcc g++安装!!!!
CentOS7系统升级cmake
git clone https://github.com/google/sentencepiece
cd /path/to/sentencepiece
mkdir build
cd build
cmake ..
make -j $(nproc)
make install
ldconfig -v
如果报错,记得检查是否是管理员运行!!!!
第三步 Python下sentencepiece安装
需要先去指定 PKG_CONFIG_PATH 路径
观察 make install 时sentencepiece.pc的路径!!!
见下图,第二个款就是你需要设置的路径
比如说我这儿就是:
export PKG_CONFIG_PATH= /usr/local/lib/pkgconfig/'
echo $PKG_CONFIG_PATH
设置完了可以打印出来看看。
进入到sentencepiece/python
依次执行下面两条命令
python setup.py build
python setup.py install