python 批量合并csv

1.当csv数量在10以下,每个csv量很小时:

import pandas as pd
def merge_csv_file(path=None, col_name=[], file_type='csv'):
    """
    遍历并合并文件夹里的文件
    :param path: 文件夹路径
    :param col_name: 列名
    :param file_type: 文件类型
    :return:
    """
    data = pd.DataFrame()
    for _, _, filenames in os.walk(path):
        if file_type == 'csv':
            for filename in filenames:
                if '.csv' in filename:
                    data1 = pd.read_csv(path + filename, names=col_name)
                    data = pd.concat([data, data1], axis=0)
            return data
        elif file_type == 'xlsx':
            for filename in filenames:
                if '.xlsx' in filename:
                    data1 = pd.read_excel(path + filename, names=col_name)
                    data = pd.concat([data, data1], axis=0)
            return data

2.当csv很多,单个csv量也很大,内存不是很大,而且想要快速,可以用追加的方式

import os
import pandas as pd
def append_csv(csvs_path, save_file_path_and_name, save_col):
    '''
    
    :param csvs_path: 批量csv存放的位置
    :param save_file_path_and_name: 合并后存放数据的文件路径+名称
    :param save_col: 想要保存的列【加上这个可以保证数据按列存储是不会乱】
    :return: 
    '''
    for _, _, filenames in os.walk(csvs_path):
        for i in filenames:
            if '.csv' in i:
                data = pd.read_csv(csvs_path + i)
                data[save_col].to_csv(save_file_path_and_name, mode='a', header=False)
    return True

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值