pandas读取超大csv文件失败的一个解决办法

最新推荐文章于 2023-08-10 10:27:40 发布
最新推荐文章于 2023-08-10 10:27:40 发布
阅读量1.2k 收藏
点赞数 2
文章标签： python bug pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45938214/article/details/113967032
版权

pandas读取超大csv文件失败的一个解决办法


如下是我原本代码的一部分。代码中读取的csv文件有几个G大。本来前一天还可以正常读取并且输出data_x和data_y，但是转天就什么也print了。于是我挨行debug，最后发现其实读取是没问题的，但是！！ 

"""Loading the data"""
data_set = pd.read_csv('./Train.csv')

warnings.filterwarnings('ignore')

"""Pandas settings"""
pd.set_option('display.max_rows', None)
pd
最低0.47元/天 解锁文章
Goldfish_Queen
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python处理大型excel文件-excel 大文件 如何用python 分段读取
weixin_39640646的博客
11-11 2298
题主发现的问题如果还是一下子读取，可以尝试根据一楼回答修改下代码就可以做到不全部读取了。代码中主动指定sheetname，不用pd.ExcelFile读取方式获取sheetname就可以运行以下函数了。import osimport pandas as pdHERE = os.path.abspath(os.path.dirname(__file__))DATA_DIR = os.path.abs...
pandas读取csv文件提示不存在的解决方法及原因分析
09-17
在使用Pandas库读取CSV文件时，有时可能会遇到“文件不存在”的错误，这通常是由于几个常见原因导致的。本文将深入探讨这些问题及其解决方案，并提供一些额外的与处理中文字符相关的知识。 首先，最常见的原因是...
pandas读取大规模数据（2g以上不适合直接read）
机器学习VVVVVVVVIP
08-03 3101
读取2g以上数据适用，暂未探索其上限。 import pandas as pd reader = pd.read_csv('hlj_all_addr.csv', iterator=True) loop = True chunkSize = 100000 chunks = [] while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk) except StopIterati
pandas读取大文件csv容易出现的错误
weixin_40759186的博客
08-05 1507
文章目录1. 不是utf-8格式，先读取一遍为utf-8，忽略掉错误:2. 出现null bytes错误，使用engine='c':3. 读取成功之后，保存为utf-8格式： 1. 不是utf-8格式，先读取一遍为utf-8，忽略掉错误: filename = open('E://source_data/insured_utf-8.csv', encoding='utf-8',errors='ig...
电脑配置太低，pandas.read_csv无法读取大文件
weixin_43188881的博客
05-08 1184
pandas.read_csv()中有一个参数chunksize是控制分块读取的。 比如：df=pandas.read_csv(file,chunksize=1000)就是将文件按1000行1000的来读。读取的结果是一个可迭代对象。 因此，我们通过下面的一个函数先分块读取，最后合并数据，从而读取所有的数据： def get_df(file): mylist = [] for chunk in ...
python pandas.read_csv读取大文件
qq_41181787的博客
08-30 1177
pandas.read_csv读取较大文件方法
使用pandas对超大csv文件进行快速拆分
码农1479的博客
03-23 7531
本文介绍如何利用pandas对超大CSV文件进行快速拆分。
Python Pandas批量读取csv文件到dataframe的方法
09-20
主要介绍了Python Pandas批量读取csv文件到dataframe的方法,需要的朋友可以参考下
使用pandas读取csv文件的指定列方法
09-20
下面小编就为大家分享一篇使用pandas读取csv文件的指定列方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
09-20
今天小编就为大家分享一篇使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas快速读取大文件csv方法
a347604678的博客
06-18 3369
当我们使用python进行大量数据的读取操作时，可以通过设置read_csv参数、使用polars、datatable等第三方库的方法提速。
导入四百万行级超大尺寸CSV文件的经验分享
weixin_50083448的博客
08-10 5291
导入超大尺寸CSV文件的几种尝试
pandas大文件分块读取
Pillar_cai的博客
03-08 529
对于一个大文件可以分块读取，设置参数chunksize即可，若设置这个参数后将返回一个TextFileReader对象迭代器，可以用这个对象逐块迭代 import pandas as pd zarten_csv = pd.read_csv('../zarten_csv.csv', sep=',', names= ['name','age','sex'], chunksize= 10) for i in zarten_csv: print(i) 原文链接：【Pandas】...
当文件太大时读取出错怎么办？
幸福来敲门
05-14 712
在机器学习过程中，如果要处理的文件上G，单纯使用pandas.read_csv(r'D:\format\total_csv_till20180405.csv')容易出错，读不进来，在这种情况下，可以使用以下代码来一块块读进来，并拼接到一起。import pandas as pd reader = pd.read_csv(r'D:\total_csv_till20180405.csv', itera...
pandas 分批读取大量数据
weixin_45228198的博客
10-24 1909
大量数据，无法一次性读入内存，所有需分配读取 df = pandas.read_csv("xxxx.csv",encoding="utf-8",chunksize=300000) #每块数据 30w 行 for i in df: print(i.head()) 如图：
pandas分批读取大数据集
热门推荐
htbeker的博客
01-18 2万+
如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。 下图是2015年kaggle上一个CTR预估比赛的数据集： 看到train了吧，原始数据集6个G，特征工程后得多大？那我就取40...
python pandas处理大数据文件常见问题汇总
qq_40389620的博客
04-16 591
1、电脑内存不够,读取文件导致报错 试验环境： 操作系统：Linux 内存大小：4G 文件大小：8G 文件类型：txt 常规读取文本代码：使用read_csv df = pd.read_csv(os.path.join(temp_path,"{}.txt".format(filename)),sep='\t',names=names) 解决方法：将数据集切割、分段读取，处理完一段数据就写入结果文件。 代码： chunksize_value:分割后每段数...
pandas读取大文件时memoryerror的解决办法
lq497028254的博客
03-03 6358
pandas读取大文件时memoryerror的解决办法 再用pd.read_csv读取大文件时，如果文件太大，会出现memoryerror的问题。 解决办法一：pd.read_csv的参数中有一个chunksize参数，为其赋值后，返回一个可迭代对象TextFileReader，对其遍历即可 reader = pd.read_csv(file_path, chunksize=20)　...
关于python处理大量数据时的性能调优
qq_15203169的博客
08-05 1275
当面对企业级大数据处理时，因为代码本身，导致CPU高负荷运行，内存基本占用满，代码依旧未响应，如果真的因为数据量的问题那么就应该考虑，优化本地运行环境，或是使用专业的高性能运算服务器来完成。...
pandas读取超大CSV
最新发布
03-24
下面是使用pandas读取超大CSV文件的一种方法： 1. 使用`pandas.read_csv()`函数来读取CSV文件。可以通过设置`chunksize`参数来指定每次读取的数据块大小，以减少内存的使用。 ```python import pandas as pd # ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值