python 多行数据分成多个excel输出

最新推荐文章于 2024-09-02 23:57:56 发布
最新推荐文章于 2024-09-02 23:57:56 发布
阅读量757 收藏 2
点赞数
文章标签： python 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/brucelin_188/article/details/119537145
版权
在处理大量数据时，当Excel文件的行数超过104万行限制，可以使用Python进行分批写入。通过计算数据总行数和每个工作表的最大行数，将数据分割成多个Excel文件。此方法适用于处理数百万行的数据。
摘要由CSDN通过智能技术生成

python 多行数据分成多个excel输出

数据处理中，经常遇到大量数据无法放在一个工作表，现在excel每个工作表的限制行数是104W+，如果有几百万行数据，怎么办？结合自己日常的代码，给大家展示一下：
rows = df.shape[0] #总计行数
max_rows = 1000000 #限制每个工作表最多为100万行数据
file_list = list()
for i in range(math.ceil(rows/max_rows)): #总计行数/每个工作表限制行数，向上取整。

 rows = sql_result.shape[0]       #总计行数
max_rows = 1000000           #设置每个工作表最多为100万行数据
file_list = list()
最低0.47元/天 解锁文章
brucelin_188
关注
Python 将Excel表格中的一列数据变成多行数据
weixin_45655485的博客
08-18 1517
Python 将Excel表格中的一列数据转化成多行数据 目录Python 将Excel表格中的一列数据转化成多行数据代码遇到的问题成果 代码 import xlrd import xlwt import numpy as np import sys def write(): data = xlrd.open_workbook('data.xls') file = xlwt.Workbook() for si,sheet in enumerate(data.sheets()):
Python将Mysql数据分多个工作表导出到Excel
07-19
Python查询mysql数据并将数据按不同的工作表sheet导出到excel的完整代码实例。有完整的代码及注释，可根据自身需要更换sql即可。
用python汇总多个excel表格-使用python把Excel表格由一个分隔成多个
weixin_37988176的博客
10-29 363
# -*- coding: utf-8 -*-import osimport mathimport xlrdimport xlwtdir = os.getcwd()+'\file\'def get_file_list(file_dir):for root,dirs,files in os.walk(file_dir):return filesdef split_xls(name):limit = ...
使用Python获取Excel数据
zyuanj的博客
09-02 507
python常见excel操作
python按行拆分表格_Python按一列拆分Excel表格
weixin_39653442的博客
11-24 341
开篇先感谢一下老公（这是他要求的），感谢他帮我写了这Python。分享一拆表的代码。把下表按B列店铺拆成分表，在总表后面加几个分表，分表按店铺命名。做好的效果：VBA的代码太长，Python很简洁，对比一下就可以看出来了。我在百度上找了一个拆表的VBA代码，修改了一点，可以达到上面的效果。VBA代码Python代码import pandas as pdimport xlsxwriterdata=p...
使用Python批量实现某一Excel文件中每3行数据存一个Excel文件
pdcfighting的博客
01-16 811
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤远芳侵古道，晴翠接荒城。大家好，我是Python进阶者。一、前言前几天在帮助粉丝解决问题的时候，遇到一个简单的小需求，这里拿出来跟大家一起分享，后面再次遇到的时候，可以从这里得到灵感。二、需求澄清粉丝的问题来源于实际的需求，她的Excel文件中现有20行数据，需要使用Python实现这...
Python数据分析之：保存数据到一个 Excel 的多个 sheet中
qq_42902997的博客
06-20 4013
将数据保存到一个 excel 的多个 sheet
处理数据表格时“一行拆多行”和“多行并一行”，Python轻松搞定！
qq_38887171的博客
10-27 2284
前两天有人提了下面这样一个问题，其中一个是“一行拆多行”（将单行一列中的多个值分成多行单值），另外一个是“多行并一行”（将多行单值合并为单行一列中的多个值）。这是在对Excel数据表格进行数据处理时经常可能遇到的一个场景，如果是用 Python 做数据处理应该怎样解决呢？今天我们就来演示一下。 一行拆多行 上面这个问题我会提供两个思路，供大家选择，当然肯定是越简单得越好。每种方法中都有一些好用的技巧，希望大家能够好好学习。 1）方法一 下方代码中有很多重要的知识点，需要我们下去好好学习一下，我只
Python + Excel——飞速处理数据分析与处理
m0_72557783的博客
11-29 2113
Python 可以为 Excel 做些什么？如果你经历过工作簿意外崩溃、计算出错，并且需要执行枯燥的手动操作，那么肯定想知道这个问题的答案。这本书是为工作表软件用户准备的一本全面又简明扼要的 Python 入门指南。不要因为害怕学习编程就避而远之，费利克斯为学习 Python 提供了一个极佳的切入点，即便是经验丰富的程序员也能从中获益。
一日一技：Python + Excel——飞速处理数据分析与处理
热门推荐
m0_59485658的博客
07-22 1万+
Python 可以为 Excel 做些什么？如果你经历过工作簿意外崩溃、计算出错，并且需要执行枯燥的手动操作，那么肯定想知道这个问题的答案。这本书是为工作表软件用户准备的一本全面又简明扼要的 Python 入门指南。不要因为害怕学习编程就避而远之，费利克斯为学习 Python 提供了一个极佳的切入点，即便是经验丰富的程序员也能从中获益。同时，他将这本书的内容进行了合理的编排，使得像你一样的 Excel 用户更易于理解和应用。可以指导人们如何在 Python 的帮助下最大化地发挥 Excel 的能力。...
python实现Excel数据拆分
04-26
python groupby实现Excel数据按某字段分组后，根据分组名将Excel数据拆分为多个Excel
Python将一个Excel拆分为多个Excel
09-19
主要为大家详细介绍了Python将一个Excel拆分为多个Excel，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
用python快速生成新的多个excel文件
weixin_42596246的博客
01-06 337
使用 Python 可以很容易地生成新的 Excel 文件。你可以使用第三方库，例如 openpyxl 或 xlsxwriter，来实现这个目的。 下面是一个使用 openpyxl 的示例代码，可以快速生成一个新的 Excel 文件： import openpyxl # 创建一个新的工作簿 wb = openpyxl.Workbook() # 创建一个新的工作表 ws = wb.create_...
python倒出多个excel_将数据帧导出到多个excel文件中
weixin_39683176的博客
01-14 240
我在excel文件中有一个大约27列的小尺寸数据框。实际上，我对编码非常陌生，需要帮助根据数据帧的列号将一个数据帧拆分为各种excel文件。我尝试了一个小代码，它给了我同样的错误：import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport openpyxlfrom pandas import ExcelWri...
python 处理excel文件，按第二行某一列值生成多个excel文件
weixin_42608318的博客
02-11 217
您可以使用 Python 中的 pandas 库来处理 Excel 文件。Pandas 提供了读取 Excel 文件的函数 read_excel，并支持将读取到的数据分组，然后通过循环将每一组数据写入到一个单独的 Excel 文件中。 代码示例如下： import pandas as pd # 读取 Excel 文件 df = pd.read_excel("原始文件.xlsx") # 按第二行...
Python脚本 - 按行数拆分Excel表格
Lizzy_Fly的博客
04-28 4694
作用：Excel文件包含的行数比较多，需要按固定的行数将Excel拆分为若干个Excel文件，并保留标题行。 #实现excel表格按行数分拆的功能 import openpyxl #填入文件名 excel_name_input=input("填写excel文件名称，限定为.xlsx格式 ") excel_name_open=excel_name_input+".xlsx" # 读取对应excel文件，应加入错误提示，待优化 workbook=openpyxl.load_workbook(filename=
python处理复杂excel_Pandas处理Excel - 复杂多列到多行转换（三十八）
weixin_39772566的博客
02-10 555
1. 读取数据import pandas as pdfile_path = "./course_datas/c39_explode_to_manyrows/读者提供的数据-输入.xlsx"df = pd.read_excel(file_path)2. 把多列合并到一列# 提取待合并的所有列名，一会可以把它们drop掉merge_names = list(df.loc[:, "Supplier":]...
python处理多个excel表-使用python把Excel表格由一个分隔成多个
weixin_37988176的博客
11-01 1259
站长现在工作的地方，最近经常用到Excel导入数据，公司的网站是PHP做的，型号价格的更新每次都是通过Excel导入。一次性两万条记录的导入勉强可以，数据量再大就超时了。而有些产品的价格表格在5万以上，此时导入的时候就需要拆分成几个数据量少于2万的表格。每个类型码有多个Excel表，靠手工来操作不是程序员该干的事情，于是我用起了不是很熟练的Python来解决。代码如下，希望给新手一个帮助。（其实我...
python实现excel多行数据相乘相加
最新发布
09-21
在Python中，我们可以使用pandas库来方便地处理Excel文件和进行计算，包括多行数据的相乘和相加。以下是基本步骤： 1. 首先，安装必要的库： ``` pip install pandas openpyxl ``` 2. 使用`pandas`读取Excel文件，并加载数据： ```python import pandas as pd df = pd.read_excel('your_file.xlsx') # 替换为你的文件路径 ``` 3. 如果需要对特定列的数据进行相乘和相加操作，例如列A和B进行相乘，然后将结果累加到新的列C，你可以这样做： ```python df['Product'] = df['ColumnA'] * df['ColumnB'] df['Sum'] = df['Product'].cumsum() # 对每个位置的值求累积和 ``` 4. 注意这里假设'ColumnA'和'ColumnB'是你想要相乘的列名，'Product'是新生成的相乘结果列，'Sum'是相加后的累计总和。 5. 最后，如果你想保存结果回Excel文件： ```python df.to_excel('output.xlsx', index=False) # 将处理后的数据保存到新的Excel文件 ``` 如果你需要更复杂的操作或者特定条件下的计算，可以根据实际需求调整代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值