Python读取超大Excel表格(100万行x30列)三种方法

已于 2024-03-29 17:01:44 修改
阅读量1.8k 收藏 11
点赞数 30
分类专栏： Python自动化办公 文章标签： python excel 数据库 python办公
于 2024-03-25 09:07:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42636075/article/details/136958345
版权

目录

方法 读取(100W行 × 30列) 时间
openpyxl 0.007秒
openpyxl—操作每一行（如做json） 90s秒
pandas， engine=‘openpyxl’ 66秒
转成CSV再读取 1 秒
转成CSV再读取—做json 3 秒

专栏导读

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一晌小贪欢
关注
  • 30
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Python3读取Excel表格数据
全儿的博客
09-05 7576
Python3读取Excel表格数据 步骤 导入xlrd包 打开excel文件 获取全部工作表（sheet） 选取对应的工作表 选取所需数据 示例 # 导入xlrd包 import xlrd def read_excel(self): # 打开excel文件 workbook = xlrd.open_workbook(r'./test.xlsx') # 获取全部工...
python3读取excel文件只提取某些行某些列的值方法
09-20
在Python编程中，读取Excel文件是常见的任务，特别是在数据处理和分析中。Python提供了多个库来处理Excel文件，如pandas、openpyxl、xlrd等。本篇将聚焦于使用xlrd库来实现从Excel文件中提取特定行和列的值。xlrd是...
使用Python如何快速打开一个百万行级别的超大Excel文件？
Python作业辅导员 - 天元浪子
01-22 1万+
知乎上有同学求助说，当他试图打开一个20M左右的excel文件时，无论是使用pandas的read_excel，还是直接使用xlrd或者openpyxl模块，速度都慢到无法忍受的程度，耗时大约1分钟左右。真的会这样吗？
解决python读取几千万行的大表内存问题
12-25
Python导数据的时候，需要在一个大表上读取很大的结果集。 如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出 解决的方法： 1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。) 2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。 import MySQLdb.cursors conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
great_tables，一个实用的 Python 库！
涛哥聊Python
05-23 972
Python的great_tables库是一个强大的数据处理和分析工具，设计用于帮助开发者和数据分析师高效地处理和分析表格数据。它提供了从基本到高级的广泛数据操作功能，如数据加载、筛选、排序、聚合以及更复杂的合并、连接和数据透视表等。通过简洁的API和优化的底层实现，great_tables能够轻松应对大规模数据集，提高数据处理的速度和精确性。无论是在商业智能、科研分析还是日常数据管理任务中，great_tables都表现出色，使得数据探索、分析和报告更加直接和高效。
python xlsx 大文件_使用Python如何快速打开一个百万行级别的超大Excel文件？
weixin_33558958的博客
02-03 920
知乎上有同学求助说，当他试图打开一个20M左右的excel文件时，无论是使用pandas的read_excel，还是直接使用xlrd或者openpyxl模块，速度都慢到了无法忍受的程度，耗时大约1分钟左右。真的会这样吗？第一感觉是，这位同学在使用openpyxl模块时没有设置只读模式。为便于测试，先用下面的代码生成一个一百万行数据的excel文件。接下来定义了一个使用openpyxl模块打开文件的...
Python如何读取Excel中的数据？
这家伙很懒，什么都没有留下
11-02 953
本文将深入探讨如何使用Python读取Excel中的数据。我们会介绍为何需要读取Excel数据，以及如何使用Python中的pandas和openpyxl这两个强大的库来完成此任务。文中将提供详细的代码示例，并对每种方法进行优缺点分析。
python 处理超大文件
walk slow down
05-26 2190
生成器是一种特殊的迭代器，可以通过函数来生成一系列的值，而不需要一次性生成所有值。在处理超大文件时，我们可以编写一个生成器函数来逐行读取文件，然后将每行数据作为生成器的一个值返回。处理超大 Excel 文件的方法与处理超大表格文件类似，也可以使用生成器来逐行读取数据，避免将整个文件读入内存中。此外，对于非常大的 Excel 文件，可能需要使用专业的数据处理工具来处理，例如 Apache Spark 等。当处理超大文件时，使用生成器可以避免将整个文件读入内存中，从而减少内存占用，提高程序的效率。
实用！Python大型Excel文件处理：快速导入、导出与批量处理
sdasdas12的博客
09-21 1746
Python 是一种功能强大的编程语言，它提供了丰富的库和工具，使得处理大型 Excel 文件变得容易和高效。下面将介绍如何使用 Python 快速导入、导出和批量处理大型 Excel 文件。下面是一些建议和实践经验，希望能对你有所帮助。
pandas读取excel文件，如果excel文件太大内存存不下怎么办？
devid008的博客
06-25 2687
在数据分析任务中，我们常常需要读取Excel文件中的数据。但是，如果Excel文件特别大，内存无法加载整个文件，这时候pandas读取Excel文件会出现内存溢出的错误。本文介绍几种优化方法，可以有效解决这个问题。
Python中读取Excel最快的6种方法
热门推荐
Trb201012的博客
01-26 1万+
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。中定义的，当您请求字典时，它就是 tablib 返回的内容。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
python读取超大(Gb级别)的excel
RobbenEmi的专栏
03-16 7394
使用pandas的read_excel读取，耗时巨大，而且不适合作为调试工具，这里使用openpyxl，用它的只读模式，可以 即时 读取任何单元格的内容，代码如下： import openpyxl file = 'big_excel.xlsx' # 必须是只读模式，否则也是很慢 wb = openpyxl.load_workbook(file,read_only=True) sht = wb['Sheet1'] # 从第2行5列读起，data就是一行的数据。注意，excel的第一行第一列是(1,1).
解决python执行较大excel文件openpyxl慢问题
09-16
主要介绍了解决python执行较大excel文件openpyxl慢问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python读取Excel表格文件的方法
09-18
主要介绍了python读取Excel表格文件的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
python3 读取Excel表格中的数据
09-20
总的来说，Python3结合`openpyxl`库为处理Excel数据提供了一种高效且灵活的方法。不论你是进行数据分析还是简单的数据读取，`openpyxl`都能满足你的需求。记住，实践是学习的最佳途径，尝试创建自己的项目，应用这些...
python读取excel指定列数据并写入到新的excel方法
12-23
如下所示： #encoding=utf-8 import xlrd from xlwt import * #------------------读数据--------------------------------- fileName="C:\\Users\\st\\Desktop\\test\\20170221131701.xlsx" bk=xlrd.open_workbook...
Python从Excel中读取日期一列的方法
09-19
本文将详细介绍如何使用Python从Excel文件中读取日期一列，并将其转换为Python内建的日期格式进行处理。主要涉及的库是`xlrd`，这是一个用于读取Excel文件的Python库。 首先，导入必要的库： ```python import xlrd...
Python实战：高效读取Excel数据
最新发布
windowshht的博客
05-24 3943
在数据处理和分析的工作中，Excel作为一种广泛使用的电子表格软件，经常作为数据源的存储和交换格式。Python作为一种强大的编程语言，提供了多种库来读取和处理Excel文件，其中最常用的是。：对于非常大的文件或需要同时读取多个文件的情况，可以考虑使用多线程或并行处理来加速读取过程。：确保提供的Excel文件路径是正确的，并且Python脚本有足够的权限去访问这个文件。如果文件在不同的目录下，你可能需要提供完整的文件路径，或者使用相对路径。对于大型Excel文件的读取，性能优化可能是非常重要的。
python读取2个excel表格行和列是否相同
05-26
可以使用Python的pandas库来读取和比较两个Excel表格的行和列是否相同。 首先，需要安装pandas库。可以使用以下命令来安装： ``` pip install pandas ``` 接下来，可以使用pandas库中的read_excel函数来读取Excel表格。例如，下面的代码可以用来读取名为“Sheet1”的表格： ``` import pandas as pd # 读取Excel表格 df = pd.read_excel('filename.xlsx', sheet_name='Sheet1') ``` 然后，可以使用shape属性来获取表格的行数和列数。例如，下面的代码可以用来获取df表格的行数和列数： ``` # 获取表格的行数和列数 num_rows = df.shape[0] num_cols = df.shape[1] ``` 最后，可以比较两个表格的行数和列数是否相同。例如，下面的代码可以用来比较两个表格的行数和列数是否相同： ``` # 读取第二个Excel表格 df2 = pd.read_excel('filename2.xlsx', sheet_name='Sheet1') # 比较两个表格的行数和列数是否相同 if df.shape == df2.shape: print('行数和列数相同') else: print('行数和列数不相同') ``` 注意，上述代码假设两个表格的工作表名称均为“Sheet1”。如果不是，则需要相应地更改sheet_name参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一晌小贪欢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值