RPA学习-如何将大的 Excel 无损拆分成若干个小文件

前段时间有个同事在项目中遇到一个问题,需求中有一个是将 Excel 文件传入系统,但是上传过程中,发现文件太大,无法上传。因而需要将该大文件拆分成若干个小文件,在上传。
代码如下:

coding=utf-8

import os
import pandas as pd
import math

def file_split(filename, file_num, header=True):

根据是否有表头执行不同程序,默认是否表头的

if header:
    # 获得每个文件需要有的行数
    chunksize = 1000000  # 先初始化的chunksize是100W
    data1 = pd.read_csv(open(filename), chunksize=chunksize, sep=',', encoding='utf-8')
    num = 0
    for chunk in data1:
        num += len(chunk)
    chunksize = round(num / file_num + 1)
    # 需要存的file
    head, tail = os.path.splitext(filename)
    data2 = pd.read_csv(open(filename), chunksize=chunksize, sep=',', encoding='utf-8')
    i = 0  # 定文件名
    for chunk in data2:
        chunk.to_csv('{0}_{1}{2}'.format(head, i, 
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值