【python 数据合并】1招教你csv文件合并成一个大文件

需求分析:
将同一个文件夹下所有csv 合并成一个大文件,并计算各列最大值,最小值,标准偏差。

解决方案:

# -*- coding: utf-8 -*-

import pandas as pd
import os

save_path='D:/Programs/数据项目/csv文件合并/合并前/'
save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'

df1 = pd.DataFrame()
for parent, dirnames, filenames in os.walk(save_path):
    for filename in filenames:
        print("正在处理文件 %s" % filename)
        df2 = pd.read_csv(save_path + filename, sep=',')
        df1 = pd.concat([df1, df2], axis=0)

print(df1)
# 输出数据到本地
df1.to_csv(save_merge_path + 'data_result.csv', index=False, sep=',')

# 计算最大值,最小值,标准偏差
df2=df1.describe()
print(df2)

# 输出结果到本地
df2.to_csv(save_merge_path + 'data_describe.csv', index=True, sep=',')

Python中,我们可以使用pandas库来合并多个CSV文件并保存为一个Excel文件。 首先,我们需要安装pandas库。可以使用以下命令在命令行中安装: ``` pip install pandas ``` 接下来,我们要编写Python代码。下面是一个示例代码: ```python import pandas as pd import os # 定义CSV文件夹路径 csv_folder = '/path/to/csv/folder' # 获取CSV文件夹中的所有文件 csv_files = [file for file in os.listdir(csv_folder) if file.endswith('.csv')] # 创建一个空的DataFrame combined_data = pd.DataFrame() # 遍历CSV文件列表 for file in csv_files: # 使用pandas的read_csv函数读取CSV文件 data = pd.read_csv(os.path.join(csv_folder, file)) # 将数据添加到combined_data中 combined_data = combined_data.append(data) # 将combined_data保存为Excel文件 combined_data.to_excel('/path/to/output/file.xlsx', index=False) ``` 请将代码中的`/path/to/csv/folder`替换为存放CSV文件文件夹的实际路径,将`/path/to/output/file.xlsx`替换为要保存的Excel文件的路径和文件名。 这段代码首先通过`os.listdir`函数获取CSV文件夹中所有的CSV文件名,并将它们存储在`csv_files`列表中。然后,它创建了一个空的DataFrame `combined_data`。接下来,它遍历CSV文件列表,使用`pd.read_csv`函数读取每个CSV文件,并将数据添加到`combined_data`中。最后,使用`to_excel`函数将`combined_data`保存为一个Excel文件。 希望这个回答对您有帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东华果汁哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值