Python用pandas 对特定格式进行处理时会很方便,譬如对jmeter性能测试结果进行分析,如果这个数据比较大(几十个G的数据),这时候处理起来就比较费力,需要的内存就比较大了,还可能导致报(memoryerrord的)错,当然数据比较小(几个G内的数据)处理起来还是不错的。
导致这样的问题与Python语言的天生缺陷有关,不能使用多核CPU,所以就算服务器是多核处理器,在使用Pandas进行数据解析时还是用的服务器中的一个核,为了追求速度充分利用CPU,可以使用Modin库,它可以让你的Pandas运行速度更快。
Modin安装:
在线安装: pip install modin
离线安装: https://github.com/modin-project/modin (离线安装方法请自行百度)
使用方法:
import modin.pandas as pd
示例:
import modin.pandas as pd
df = pd.read_csv("my_dataset.csv")
速度提升: