最近偶尔看到modin.pandas 能提升效率,最近事情不多就开始验证一下。
1.首先需要的软件包:
Python-3.7.6.tgz
gcc-9.1.0.tar.gz
glibc-2.17.tar.gz
其他的比如pandas==0.25.3 , libffi-dev,xz-devel 等等。
2.安装python
首先最开始安装的是python3.8 由于后期安装 modin[ray] Ray 这个库的时候他最新支持python 3.7,
modin.pandas最新支持pandas=0.25.3 最新的pandas版本已经到1.0以上了。所以还是以3.7.6 来验证。
python安装:
tar -zxvf Python-3.7.6.tgz
./configure --prefix=/usr/local/python37 LDFLAGS='-L/opt/local/lib -R/opt/local/lib'
为什么要加 LDFLAGS='-L/opt/local/lib -R/opt/local/lib'
由于存在多版本的时候,会报出 No module named '_ctypes'需要重新编译,
yum install libffi-dev 这个安装了有时侯还是汇报,这边是重新编译安装python 成功。
make &&make install
3.安装 modin.pandas:
pip3 install pandas==0.25.3
pip3 install modin