解决openpyxl读取数据量较大的excel时速度缓慢的问题

        简而言之,在遍历excel时,用ws.cell.value来遍历单元格的值速度慢,用ws.rows来遍历单元格速度更快。代码比较如下,设置好excel文件路径和文件名后即可运行:

from openpyxl import load_workbook
import os
import time

# 读取待查询的数据
def read_excel():
    #此处需要根据实际情况设置excel的文件路径和文件名
    file_path = ''
    excel_name = ''

    print('————开始用ws.rows方式读取数据表————')
    rows_time = time.time()
    wb = load_workbook(file_path + excel_name)
    ws = wb.active
    i = 1
    for row in ws.rows:
        if i == 1:
            i += 1
            continue
        key = str(row[1].value).replace(' ', '')
        key_value = str(row[0].value).replace(' ', '')
        i += 1
    print('表:', excel_name, '的数据量为:', ws.max_row)
    wb.close()
    print('————使用ws.rows方式读取表格时间————', time.time() - rows_time)


    print('————开始用cell方式读取数据表————')
    cell_time = time.time()
    wb = load_workbook(file_path + excel_name)
    ws = wb.active
    i = 2
    while i <= ws.max_row:
        key = str(ws.cell(i, 2).value).replace(' ', '')
        key_value = str(ws.cell(i, 1).value).replace(' ','')
        i += 1
    print('表:',excel_name,'的数据量为:', ws.max_row)
    wb.close()
    print('————使用cell方式读取表格时间————',time.time()-cell_time)


if __name__ == '__main__':
    read_excel()

  • 5
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
解决Python openpyxl写入大数据速度慢的问题,可以考虑以下几种方法: 1. 使用最新版本的openpyxl库:确保将openpyxl库更新到最新版本,因为每个新版本通常都会优化性能并修复一些已知的问题。 2. 使用write_only模式:使用openpyxl中的write_only模式,而不是默认的read_write模式,可以提高写入大数据的速度。write_only模式忽略了对已存在的单元格内容的读取和修改,仅仅将新数据追加到文件中。 3. 批写入数据:将要写入的大数据分批写入,而不是一次性写入。可以将数据分成多个小的数据集,每个数据集写入一次,这样可以减少写入的间和内存占用。 4. 使用pandas库:openpyxl并不是最高效的处理大数据的库,因此可以考虑使用pandas库。pandas提供了更高效的数据处理和写入方法,可以将数据转换为pandas的DataFrame对象,然后使用其to_excel方法写入数据。 5. 使用多线程或异步写入:对于需要同处理多个数据集的情况,可以使用多线程或异步编程技术,将写入操作分配给多个线程或任务并行处理,以提高写入大数据的速度。 6. 禁用自动调整列宽和行高:openpyxl在写入数据会自动调整列宽和行高,但这会导致写入速度较慢。可以禁用该功能,以加快写入速度。 7. 使用其他库:如果openpyxl无法满足需求,可以考虑使用其他可以更快写入大数据的库,如xlrd、xlwt、xlwings等。 通过以上方法,可以有效地加快Python openpyxl写入大数据的速度,提高程序的效率。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值