Python中,一次性往Excel写入几十万条数据

最近有一个往Excel文件中不同的工作簿写入大量数据的需求,如下图所示,有三个工作簿,每个工作簿中的数据量不同,向一个工作簿中写入数据时需要将上一次写入的数据清空,且其它两个工作簿的数据不能清空。
在这里插入图片描述
网上大部分的教程都是一条一条的往里面写入,这种效率太低,而且耗时太长。或者就是一次往一个工作簿写入数据时,会将之前的全部数据覆盖,也不太符合要求。
下面是自己的实现方式
我使用的是openpyxl和pandas模块相结合使用的。在写入数据时,首先会将写入的数据长度与Excel表中某一个工作簿中的数据长度进行对比,若写入数据的长度小于Excel表中某一个工作簿中的数据长度,则将该工作簿进行移除并重新创建,详细代码如下。

if len(data) < int(df_rows):
    Title = [u'模拟数据', u'平均值', u'方差', u'散斑对比度']
    book = load_workbook(AllPath + r"\Simulate.xlsx")
    # 获取Excel表格中的所有sheet
    sheets = book.worksheets
    for i in range(len(sheets)):
        strV = ''
        valueIndex = str(sheets[i])
        print(f'valueIndex={valueIndex}')
        for j in range(12, len(valueIndex) - 2):
            strV += valueIndex[j]
            print(f'strV={strV}')
        if strV == SHEET:
            Sheet = book[SHEET]
            book.remove(Sheet)
    Coefficient = book.create_sheet(index=0, title=SHEET)
    Coefficient.append(Title)
    book.save(AllPath + r"\Simulate.xlsx")
    book.close()

在判断完数据后,将几十万条数据一次全部写入Excel中的某一个工作簿,具体代码如下

df = pd.DataFrame(data)
book = load_workbook(AllPath + r"\Simulate.xlsx")
with pd.ExcelWriter(AllPath + r"\Simulate.xlsx") as writer:
    writer.book = book
    writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
    df.to_excel(writer, sheet_name=SHEET, startrow=1, index=False, header=False)

最后就能实现上述的需求了。
源代码链接

  • 6
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值