modin是一个pandas 多线程处理数据的库。
特色1kb~1TB的数据都能处理。
安装
pip install molin[all]
pip install molin[dask]
pip install molin[ray] #linux环境才能使用
# python版本需要3.7或更高
# dask 启动方法
import os
os.environ['MODIN_ENGINE']='dask'
from distributed import Client
client = Client(n_workers=6)
# 指定进程数
import modin.pandas as pd2
# ray启动方法
import os
os.environ['MODIN_ENGINE']='ray'
import modin.pandas as pd2