Python读取超大Excel表格(100万行x30列)三种方法

已于 2024-03-29 17:01:44 修改
阅读量1.7k 收藏 11
点赞数 30
分类专栏： Python自动化办公 文章标签： python excel 数据库 python办公
于 2024-03-25 09:07:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42636075/article/details/136958345
版权

目录

方法 读取(100W行 × 30列) 时间
openpyxl 0.007秒
openpyxl—操作每一行（如做json） 90s秒
pandas， engine=‘openpyxl’ 66秒
转成CSV再读取 1 秒
转成CSV再读取—做json 3 秒

专栏导读

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一晌小贪欢
关注
  • 30
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Python快速读取超大文件
夜空下的凝视
04-11 1万+
方法一： 测试文件共6862646行，79.3M大小，耗时6.7秒。 缺点：每一行数据内容不能大于内存大小(一般不会)，否则就会造成MemoryError。 import time print("开始处理...") start = time.time() file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt' with open(file, 'rb...
python对excel大量数据进行处理
2301_79533350的博客
09-26 1149
大家好，小编来为大家解答以下问题，一个有趣的事情，一个有趣的事情，今天让我们一起来看看吧！
解决python读取几千万行的大表内存问题
12-25
Python导数据的时候，需要在一个大表上读取很大的结果集。 如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出 解决的方法： 1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。) 2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。 import MySQLdb.cursors conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
great_tables，一个实用的 Python 库！
最新发布
涛哥聊Python
05-23 942
Python的great_tables库是一个强大的数据处理和分析工具，设计用于帮助开发者和数据分析师高效地处理和分析表格数据。它提供了从基本到高级的广泛数据操作功能，如数据加载、筛选、排序、聚合以及更复杂的合并、连接和数据透视表等。通过简洁的API和优化的底层实现，great_tables能够轻松应对大规模数据集，提高数据处理的速度和精确性。无论是在商业智能、科研分析还是日常数据管理任务中，great_tables都表现出色，使得数据探索、分析和报告更加直接和高效。
python xlsx 大文件_使用Python如何快速打开一个百万行级别的超大Excel文件？
weixin_33558958的博客
02-03 912
知乎上有同学求助说，当他试图打开一个20M左右的excel文件时，无论是使用pandas的read_excel，还是直接使用xlrd或者openpyxl模块，速度都慢到了无法忍受的程度，耗时大约1分钟左右。真的会这样吗？第一感觉是，这位同学在使用openpyxl模块时没有设置只读模式。为便于测试，先用下面的代码生成一个一百万行数据的excel文件。接下来定义了一个使用openpyxl模块打开文件的...
使用Python如何快速打开一个百万行级别的超大Excel文件？
热门推荐
Python作业辅导员 - 天元浪子
01-22 1万+
知乎上有同学求助说，当他试图打开一个20M左右的excel文件时，无论是使用pandas的read_excel，还是直接使用xlrd或者openpyxl模块，速度都慢到无法忍受的程度，耗时大约1分钟左右。真的会这样吗？
python读写大文件excel_基于Python的接口自动化-读写excel文件
weixin_39669982的博客
01-30 376
引言使用python进行接口测试时常常需要接口用例测试数据、断言接口功能、验证接口响应状态等，如果大量的接口测试用例脚本都将接口测试用例数据写在脚本文件中，这样写出来整个接口测试用例脚本代码将看起来很冗余和难以清晰的阅读以及维护，试想如果所有的接口测试数据都写在代码中，接口参数或者测试数据需要修改，那不得每个代码文件都要一一改动？。因此，这种不高效的模式不是我们想要的。所以，在自动化测试中就有个重...
python读写excel文件
05-23
python读写excel
大话 Python：python 操作 excel 系列 -- 怎样读取 excel 文件？
梦在硅谷的博客
02-25 218
1，准备所需要的 python 库 在 python 环境下安装 xlrd 用来创建 excel 文件及写入数据操作。 # 安装 xlrd 库 pip install xlrd 2，打开存在的 excel 文件 # 导入 xlrd 库 import xlrd # 打开文件 workbook = xlrd.open_workbook(r'd:\test.xls') 3，获取 excel 中的第一个工作表的名称 # sheet_names() 函数获取工作表名称数组，然后从数组中取出第一个工作表名称 she
实用！Python大型Excel文件处理：快速导入、导出与批量处理
sdasdas12的博客
09-21 1688
Python 是一种功能强大的编程语言，它提供了丰富的库和工具，使得处理大型 Excel 文件变得容易和高效。下面将介绍如何使用 Python 快速导入、导出和批量处理大型 Excel 文件。下面是一些建议和实践经验，希望能对你有所帮助。
怎么用python读取大文件_用Python读取大文件（下）
weixin_39933356的博客
02-12 205
上篇讲到如何写一个python程序去处理大文件的内容读取。 中间涉及了几个很关键的概念， 可迭代对象，生成器和文件对象。本篇解释下这几个概念。可迭代对象：在python中一个列表，就是一个可迭代对象，同时它也是迭代器。我们可以用for i in mylist的方法去迭代它。 类似的还有链表， 文件对象等。在python里， 使用__iter__方法可以返回一个可迭代对象， 而next()方法实现...
解决python执行较大excel文件openpyxl慢问题
09-16
主要介绍了解决python执行较大excel文件openpyxl慢问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python3读取excel文件只提取某些行某些列的值方法
09-20
在Python编程中，读取Excel文件是常见的任务，特别是在数据处理和分析中。Python提供了多个库来处理Excel文件，如pandas、openpyxl、xlrd等。本篇将聚焦于使用xlrd库来实现从Excel文件中提取特定行和列的值。xlrd是...
python读取Excel表格文件的方法
09-18
主要介绍了python读取Excel表格文件的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
python3 读取Excel表格中的数据
09-20
总的来说，Python3结合`openpyxl`库为处理Excel数据提供了一种高效且灵活的方法。不论你是进行数据分析还是简单的数据读取，`openpyxl`都能满足你的需求。记住，实践是学习的最佳途径，尝试创建自己的项目，应用这些...
python读取excel指定列数据并写入到新的excel方法
12-23
如下所示： #encoding=utf-8 import xlrd from xlwt import * #------------------读数据--------------------------------- fileName="C:\\Users\\st\\Desktop\\test\\20170221131701.xlsx" bk=xlrd.open_workbook...
Python从Excel中读取日期一列的方法
09-19
本文将详细介绍如何使用Python从Excel文件中读取日期一列，并将其转换为Python内建的日期格式进行处理。主要涉及的库是`xlrd`，这是一个用于读取Excel文件的Python库。 首先，导入必要的库： ```python import xlrd...
Python读写EXCEL文件常用方法大全
pythonputao的博客
12-19 1283
前言 python读写excel的方式有很多，不同的模块在读写的讲法上稍有区别，这里我主要介绍几个常用的方式。 用xlrd和xlwt进行excel读写； 用openpyxl进行excel读写； 用pandas进行excel读写； 参考：https://www.python-excel.org/https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_excel.html#pandas.read_excelhttps
[Python]Excel空行、数据类型检查
qq_43496409的博客
01-30 190
【代码】[Python]Excel空行、数据类型检查。
python读取2个excel表格行和列是否相同
05-26
可以使用Python的pandas库来读取和比较两个Excel表格的行和列是否相同。 首先，需要安装pandas库。可以使用以下命令来安装： ``` pip install pandas ``` 接下来，可以使用pandas库中的read_excel函数来读取Excel表格。例如，下面的代码可以用来读取名为“Sheet1”的表格： ``` import pandas as pd # 读取Excel表格 df = pd.read_excel('filename.xlsx', sheet_name='Sheet1') ``` 然后，可以使用shape属性来获取表格的行数和列数。例如，下面的代码可以用来获取df表格的行数和列数： ``` # 获取表格的行数和列数 num_rows = df.shape[0] num_cols = df.shape[1] ``` 最后，可以比较两个表格的行数和列数是否相同。例如，下面的代码可以用来比较两个表格的行数和列数是否相同： ``` # 读取第二个Excel表格 df2 = pd.read_excel('filename2.xlsx', sheet_name='Sheet1') # 比较两个表格的行数和列数是否相同 if df.shape == df2.shape: print('行数和列数相同') else: print('行数和列数不相同') ``` 注意，上述代码假设两个表格的工作表名称均为“Sheet1”。如果不是，则需要相应地更改sheet_name参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一晌小贪欢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值