pandas分批读取大数据集

最新推荐文章于 2023-03-15 17:35:30 发布
最新推荐文章于 2023-03-15 17:35:30 发布
阅读量2.3w 收藏 95
点赞数 28
分类专栏： 数据分析 pandas 文章标签： pandas 分批读取数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/htbeker/article/details/86542412
版权

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。

下图是2015年kaggle上一个CTR预估比赛的数据集：

看到train了吧，原始数据集6个G，特征工程后得多大？那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功能，这里以test数据集为例演示。其实就是使用pandas读取数据集时加入参数chunksize。

可以通过设置chunksize大小分批读入，也可以设置iterator=True后通过get_chunk选取任意行。

当然将分批读入的数据合并后就是整个数据集了。

ok了！

完整代码扫描下方二维码回复【pandas】获取。：

有酒有风

 

htbeker
关注
  • 28
    点赞
  • 踩
  • 95
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Pandas对于大型（上G）数据集的几种读取方式
专注Python和R语言，分享Python和R语言入门教程
05-27 619
在一个CSV文件中往往存在很多列数据，但并不是所有的列都是我们需要的，此时如果将所有的列都读取出来，无疑会减慢数据读取速度。）竞赛平台上寻找一些数据集来练习，但是发现部分数据集是几G甚至几十G的，如图1所示。当刚刚得到一个很大的CSV文件时，迫切想了解数据的情况，此时推荐使用DataFrame对象的head()方法和tail()方法，先查看前5行数据和最后5行数据。说明：head()方法和tail()方法默认是查看5行数据，如果想查看更多的数据可以指定行数，如head(20)，查看前20行数据。
【Pandas】深入解析`pd.read_sql()`函数
最新发布
qq_38614074的博客
05-28 1906
是 Pandas 库中用于从 SQL 数据库中读取数据的函数。和。但本身是一个更通用的接口，可以调用这两个函数。函数是 Pandas 库中用于从 SQL 数据库中读取数据的强大工具。通过深入了解其参数和用法，我们可以更加高效、安全地处理和分析数据库中的数据。在实际应用中，根据数据的特点和需求选择合适的参数和函数形式，可以大大提高数据处理的效率和准确性。
pandas分批读取大数据集教程
09-16
主要介绍了pandas分批读取大数据集教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas大文件分块读取
Pillar_cai的博客
03-08 530
对于一个大文件可以分块读取，设置参数chunksize即可，若设置这个参数后将返回一个TextFileReader对象迭代器，可以用这个对象逐块迭代 import pandas as pd zarten_csv = pd.read_csv('../zarten_csv.csv', sep=',', names= ['name','age','sex'], chunksize= 10) for i in zarten_csv: print(i) 原文链接：【Pandas】...
python处理大型excel文件-excel 大文件 如何用python 分段读取
weixin_39640646的博客
11-11 2299
题主发现的问题如果还是一下子读取，可以尝试根据一楼回答修改下代码就可以做到不全部读取了。代码中主动指定sheetname，不用pd.ExcelFile读取方式获取sheetname就可以运行以下函数了。import osimport pandas as pdHERE = os.path.abspath(os.path.dirname(__file__))DATA_DIR = os.path.abs...
数据处理：1 用pandas处理大型csv文件 2 使用Pandas分块处理大文件 3 分块读取
热门推荐
wld的博客
08-05 5万+
在训练机器学习模型的过程中，源数据常常不符合我们的要求。大量繁杂的数据，需要按照我们的需求进行过滤。拿到我们想要的数据格式，并建立能够反映数据间逻辑结构的数据表达形式。  最近就拿到一个小任务，需要处理70多万条数据。 我们在处理CSV文件时，经常使用的大熊猫，可以帮助处理较大的CSV文件。 大熊猫中处理CSV文件的函数主要为read_csv() 状语从句：to_csv()这两个，其中read...
pandas分段读取csv
jingshuiliushen_zj的博客
10-20 1719
主要是因为内存太小，一次性读取会MemoryError def get_df(file_path): pd.set_option('display.max_columns', None) pd.set_option('display.width',200) mylist = [] for chunk in pd.read_csv(file_path, chunks...
通过Pandas读取大文件的实例
09-20
接下来，我们可以利用这个对象的 `get_chunk(chunkSize)` 方法，按指定的块大小（chunkSize）分批读取文件内容。以下是一个具体的示例： ```python f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv...
python使用pandas处理大数据节省内存技巧（推荐）
09-19
2. **分块读取和处理**：对于非常大的CSV文件，使用`pd.read_csv()`的`chunksize`参数，可以分批读取和处理数据，而不是一次性加载整个文件。 3. **减少列的副本**：在操作DataFrame时，尽量避免复制整个数据集。...
数据分批加载
01-17
在Python编程环境中，可以使用Pandas库的`read_csv`函数配合`chunksize`参数实现分批读取CSV文件。对于机器学习库如TensorFlow和PyTorch，它们内置了数据加载器(DataLoader)类，可以方便地进行数据分批加载。 总的...
Python从数据库读取大量数据批量写入文件的方法
12-25
使用机器学习训练数据时，如果数据量较大可能我们不能够一次性将数据加载进内存，这时我们需要将数据进行预处理，分批次加载进内存。 下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。 #%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话，import MySQLdb #数据库连接属性 hst = '188.10.34.18' usr = 'sa' passwd = 'p@ssw0rd' db = 'HistoryTrace' #总共多少数据 allData = 1674333 #每
如何使用Pandas处理大批量数据
03-05
Why and How to Use Pandas with Large Data ，如何使用Pandas处理大批量数据，介绍了如何减少内存消耗，学习利用pandas进行大批量数据处理不错的参考资料。
pandas读取MySQL数据
LDC，公众号【轻松学编程】
02-13 444
使用Pandas读取MySQL数据
使用 Pandas 读取超过 65536 行的 Excel 文件!
Pythoncxy的博客
08-23 5868
问题描述 使用 Pandas 的 read_excel 方法读取一个 16 万行的 Excel 文件报 AssertionError 错误： "/Users/Zzy/Desktop/test/csv_test/venv/lib/python3.7/site-packages/xlrd/xlsx.py", line 637, in do_row assert 0 <= self....
Python实现 多进程导入CSV大文件到数据库，pandas分块读取
qq_38723814的博客
03-15 2494
Python实现 多进程导入CSV大文件到数据库，pandas分块读取
pandas 分批读取大量数据
weixin_45228198的博客
10-24 1916
大量数据，无法一次性读入内存，所有需分配读取 df = pandas.read_csv("xxxx.csv",encoding="utf-8",chunksize=300000) #每块数据 30w 行 for i in df: print(i.head()) 如图：
pandas读取超大csv文件失败的一个解决办法
weixin_45938214的博客
02-23 1258
pandas读取超大csv文件失败的一个解决办法 如下是我原本代码的一部分。代码中读取的csv文件有几个G大。本来前一天还可以正常读取并且输出data_x和data_y，但是转天就什么也print了。于是我挨行debug，最后发现其实读取是没问题的，但是！！ """Loading the data""" data_set = pd.read_csv('./Train.csv') warnings.filterwarnings('ignore') """Pandas settings""" pd.set_
！！！数据集分批处理！！！Thinkphp
m0_37477061的博客
03-10 1864
如果你需要处理成千上百条数据库记录，可以考虑使用chunk方法，该方法一次获取结果集的一小块，然后填充每一小块数据到要处理的闭包，该方法在编写处理大量数据库记录的时候非常有用。 比如，我们可以全部用户表数据进行分批处理，每次处理 100 个用户记录： 你可以通过从闭包函数中返回false来中止对数据集的处理： 也支持在chunk方法之前调用其它的查询方法，例如： ...
pandas分批读取csv文件
11-04
在处理大型CSV文件时，pandas分批读取CSV文件可以提高数据处理效率和减少内存占用。下面是一种分批读取CSV文件的方法： 1.首先，使用pandas的read_csv()函数读取CSV文件，并设置chunksize参数为每个块的行数。 2.然后，使用for循环遍历每个块，并对每个块进行处理。 3.最后，将每个块的处理结果合并到一个DataFrame中。 下面是一个示例代码： ```python import pandas as pd # 设置每个块的行数 chunksize = 100000 # 读取CSV文件 reader = pd.read_csv('data.csv', chunksize=chunksize) # 遍历每个块并处理 result = pd.DataFrame() for chunk in reader: # 处理每个块 processed_chunk = process_chunk(chunk) # 将处理结果合并到一个DataFrame中 result = pd.concat([result, processed_chunk]) # 处理合并后的DataFrame final_result = process_result(result) ``` 其中，process_chunk()和process_result()是自定义的处理函数，用于处理每个块和合并后的DataFrame。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值