报错处理Process finished with exit code 139 (interrupted by signal 11: SIGSEGV)

用pd.read_csv()的时候报错:

 

Process finished with exit code 139 (interrupted by signal 11: SIGSEGV)

解决办法:

1、要读取的数据量太大,应该分块读取。

2、程序中加入切分再融合函数:

def reader_pandas(file, chunkSize=100, patitions=10 ** 4):
    reader = pd.read_csv(file, encoding="gb2312", low_memory=False, iterator=True)
    chunks = []
    with tqdm(range(patitions), 'Reading ...') as t:
        for _ in t:
            try:
                chunk = reader.get_chunk(chunkSize)
                chunks.append(chunk)
            except StopIteration:
                break
    return pd.concat(chunks, ignore_index=True)
 

其中tqdm是一个py包,可通过pip install tqdm安装。

问题解决!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值