Python读取Excel—【python_calamine】读取50w行Excel数据(带输出7秒左右，目前较快的读取Excel库)

已于 2024-11-27 09:35:13 修改
阅读量2.3k 收藏 10
点赞数 12
分类专栏： Python自动化办公 文章标签： python excel 开发语言
于 2024-02-18 09:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42636075/article/details/136054486
版权
本文介绍了使用Python的Calamine库读取大量Excel数据的高效方法，实测在4秒内完成50w行数据的读取。博主分享了背景信息、安装步骤、数据准备过程以及读取脚本，旨在帮助进行办公自动化的人士提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

专栏导读

  • 🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手

  • 🏳️‍🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注

  • 👍 该系列文章专栏：请点击——>Python办公自动化专栏求订阅

  • 文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏

  • ❤️ 欢迎各位佬关注！ ❤️

背景

  • 文章比较了几种常用的读取Excel的方法，最终发现rust库Calamine的速度最快，可以在4秒内读取50w行excel数据。

安装


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    


                



	

		

			

				
					
python+re正则表达式匹配指定10位整数 \ 小数 \ 整数

				
			

			

				

					weixin_42636075的博客
				

				

					04-04
					
					1513
					
				

			

		

		

			
				
python+re正则表达式匹配整数和小数
re匹配整数可指定位数
re匹配小数

			
		

	



                

            
              



	

		

			

				
					
Python中读取Excel最快的7种方法！—加上时间测试-带输出（测试数据80万行X20列）

				
			

			

				

					weixin_42636075的博客
				

				

					02-17
					
					448
					
				

			

		

		

			
				
Python中读取Excel最快的7种方法

			
		

	



              


  
              

                


	

		

			

				
					
利用Python处理Excel数据

					
热门推荐

				
			

			

				

					liuyq859的博客
				

				

					10-29
					
					13万+
					
				

			

		

		

			
				
目录

读取数据
显示数据
显示数据的行与列数
查看数据格式dtpyes
显示列名
添加默认的列名
显示数据后5行
显示数据唯一值
跳过文件的第i行不读取
对缺失值进行识别


数据清洗
处理空值
更改数据格式
更改列名称
删除重复值
对列表内的值进行替换


数据预处理
对数据进行排序
数据分组
数据分列


数据提取
按标签提取
按位置提取
按标签和位置提取
按条件提取
从合并的数值中提取出指

			
		

	





	

		

			

				
					
Python Excel文件操作全攻略

					
最新发布

				
			

			

				

					YAnt的博客
				

				

					03-27
					
					314
					
				

			

		

		

			
				
【代码】Python Excel文件操作全攻略。

			
		

	



		

			
		



	

		

			

				
					
python处理excel

				
			

			

				

					12-10
				

			

		

		

			
				
python处理excel的常见使用
基本的excel处理方法

			
		

	





	

		

			

				
					
Python处理Excel数据

				
			

			

				

					weixin_33962923的博客
				

				

					08-01
					
					119
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
Python-Calamine 项目使用教程

				
			

			

				

					gitblog_00980的博客
				

				

					09-14
					
					1442
					
				

			

		

		

			
				
Python-Calamine 项目使用教程

    
        
            python-calamine
            
            
                
                项目地址: https://gitcode.com/gh_mirrors/py/python-calamine
            
      ...

			
		

	





	

		

			

				
					
python读取excel的行数

				
			

			

				

					weixin_30718391的博客
				

				

					08-06
					
					2729
					
				

			

		

		

			
				
基于python3.x下
需要包

from openpyxl import load_workbook


代码如下：

 1 from openpyxl import load_workbook
 2 wb = load_workbook(filename=r'C:\\Users\\Administrator\\Desktop\\库存大表0803.xlsx')  ##读取路径...

			
		

	





	

		

			

				
					
python读取大型Excel文件

				
			

			

				

					cnblogs_user的博客
				

				

					07-09
					
					458
					
				

			

		

		

			
				
python读取Excel文件的库有pandasopenpyxlxlrd等，但是各有优缺点，虽说openpyxl在指定read_only参数后读取大型文件的速度非常快，但是它只适用于xlsx类型文件，且有些银行系统下载的报表不手动打开进行保存它都无法完整读取一行数据。最终基本都会使用pandas读取，也方便后期数据清洗。下面就主要针对pandas版本低于2.2时，无法通过直接指定，但是又想提升读取大型Excel的速度，那么还是可以用库实现的，并且速度提升非常显著！

			
		

	





	

		

			

				
					
Python-Excel全字段转json（calamine版本）

				
			

			

				

					02-11
				

			

		

		

			
				
资源名称：Python—Excel全字段转json（calamine版本） 类型：windows—exe可执行工具 环境：Windows10或以上系统 功能： 1. 点击按钮【选择单个文件】:选择一个Exel文件（默认第一行为表头）将单个Excel转json 2. ...

			
		

	





	

		

			

				
					
Python+pyqt5设计calamine读取Excel选取列作为键或值——转json(速度极快)

				
			

			

				

					weixin_42636075的博客
				

				

					02-11
					
					59
					
				

			

		

		

			
				
Python+pyqt5设计calamine读取Excel选取列作为键或值

			
		

	





	

		

			

				
					
Python-Calamine 使用与安装指南

				
			

			

				

					gitblog_00939的博客
				

				

					09-15
					
					1232
					
				

			

		

		

			
				
Python-Calamine 使用与安装指南
项目地址:https://gitcode.com/gh_mirrors/py/python-calamine
Python-Calamine 是一个 Python 绑定库，旨在利用 Rust 语言编写的强大库来读取 Excel 和 ODF 文件。本指南将带你了解其核心组件，包括目录结构、启动与配置相关知识。
1. 项目的目录结构及介绍
以下是 pyt...

			
		

	





	

		

			

				
					
Python中读取Excel最快的6种方法

				
			

			

				

					极道Jdon的技术博客
				

				

					01-26
					
					4714
					
				

			

		

		

			
				
中定义的，当您请求字典时，它就是 tablib 返回的内容。由于OrderedDict是 的子类dict并且它是在内置模块中定义的，因此我们不介意并认为它足以满足我们的目的。是 Python 中最流行的库之一，用于导入和导出各种格式的数据。它最初是由流行requests库的创建者开发的，因此其特点是同样关注开发人员体验和人体工程学。我们现在已经用尽了将 Excel 导入 Python 的传统且显而易见的方法。分析库，是用 Python 处理与数据有关的任何问题的首选，因此是一个很好的开始。

			
		

	





	

		

			

				
					
用Python 处理EXCEL表格数据

				
			

			

				

					zhangzhibinshuai的博客
				

				

					08-27
					
					874
					
				

			

		

		

			
				
使用python处理Excel数据时使用到的公共方法

			
		

	





	

		

			

				
					
python处理excel数据

				
			

			

				

					Fengziwen1的博客
				

				

					07-10
					
					3710
					
				

			

		

		

			
				
文章目录前言一、用到的库是什么？二、execl表格的样式三、模块的使用1.引入模块2.读取excel表数据3.将写入excel表四、代码分析1.代码逻辑2.选出有用的股票号并与回报率关联3.将全部数据按照所需要的股票号进行分类4.将分类好的数据写入excel五、成果展示总结

前言
帮朋友做一份数据处理，但是由于对excel的不熟悉，所以还是使用了python去做。本文主要是简单的python处理excel数据，具体服务于特定形式的excel表格

一、用到的库是什么？

xlrd
主要用于读取excel文

			
		

	





	

		

			

				
					
用python处理excel数据

				
			

			

				

					m0_73669390的博客
				

				

					07-09
					
					1204
					
				

			

		

		

			
				
参考B站咪老师的python入门教程

			
		

	





	

		

			

				
					
python简单处理excel数据

				
			

			

				

					weixin_74862427的博客
				

				

					01-23
					
					771
					
				

			

		

		

			
				
python简单的实现excel数据处理

			
		

	





	

		

			

				
					
python_calamine库读取excel x005F

				
			

			

				

					11-21
				

			

		

		

			
				
Python_Calamine是一个用于操作Excel文件的库，它支持读写Excel文件，并提供了一个简单易用的API。如果你想要使用`python_calamine`来读取包含"x005F"字符（这实际上是Excel中表示下划线 `_` 的特殊编码形式）的Excel文件，你需要先了解一点关于Calamine处理字符串和编码的知识。

当你使用`calamine`打开Excel文件时，可以使用`load_workbook`函数读取工作簿，然后通过`Sheet`对象访问特定的工作表。例如：

```python
from calamine import load_workbook

# 加载包含特殊字符的Excel文件
wb = load_workbook('your_file.xlsx')

# 获取第一张工作表
sheet = wb['Sheet1']

# 使用正确的编码，如UTF-8来读取单元格内容，如果x005F对应于下划线_
cell_value = sheet.cell(row=1, column=1).value.decode('utf-8') if isinstance(cell_value, bytes) else cell_value
```

这里假设`cell_value`可能是字节类型（如果是从二进制数据读取），需要解码才能获取正确的文本。如果不需要解码，直接访问`cell.value`即可。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
小庄-Python办公

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值