合并目录下所有csv文件

import os
import pandas as pd
from pandas.errors import ParserError

# 指定目录
folder_path = r'\需要合并csv的目录'  # 替换为你的路径

# 获取目录下所有文件
file_list = [file for file in os.listdir(folder_path) if file.endswith('.csv')]

# 用于存储所有CSV数据的列表
all_data = []

# 逐个读取并合并CSV文件
for file_name in file_list:
    file_path = os.path.join(folder_path, file_name)
    try:
        data = pd.read_csv(file_path, encoding='gbk')
        all_data.append(data)
    except UnicodeDecodeError:
        try:
            data = pd.read_csv(file_path, encoding='utf-16')
            all_data.append(data)
        except (UnicodeDecodeError, ParserError):
            print(f"无法使用 'gbk' 或 'utf-16' 编码读取文件 {file_path}。")

# 合并所有数据
if all_data:
    merged_data = pd.concat(all_data, ignore_index=True)

    # 保存合并后的数据
    output_path = r'合并后csv输出路径\test.csv'  # 替换为你的路径
    merged_data.to_csv(output_path, index=False, encoding='utf-8-sig')