Python合并csv文件 —— 本地文件整理

本文链接：https://blog.csdn.net/weixin_42750611/article/details/124111741

整理文件涉及需求的比较多，这里分享的是将本地多个 CSV 文件整合成一个文件

import pandas as pd
import os

df_list = []
for i in os.listdir():
    if ".csv" in i:
        filename = i.split('.')[0].split('_')[-1]
        df = pd.read_csv(i)
        df['filename'] = filename+'.csv'
        df_list.append(df)
df = pd.concat(df_list, axis=0)
df.to_csv("total.csv", index=0)

出现以下报错信息，可以参照上篇文章：
Python批量将csv文件的编码方式转换为UTF-8

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert()

pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8()

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xca in position 0: invalid continuation byte