pandas读取中文文件的UnicodeDecodeError编码问题汇总

Outline

• 批量处理文件
• 获取文件编码
• 不能decode bytes …
• python的异常处理
• read_csv中的error_bad_line参数
• 小感

批量处理文件

为了批量处理文件，当然是想办法获取文件名，通过文件名形成文件路径从而批处理文件。
我以前绕过大弯，根据文件的命名规律，尤其是其中的数字递增规律来创建路径，自从发现os库里的listdir函数才知道自己有多蠢！

获取文件夹下所有文件的filename
files = os.listdir(r'C:\Users\didi\Desktop\work\perf\perform_1')

files是perform_1文件夹下所有文件的文件名形成的列表，再循环处理

all_data = []
for file in files:
    file_path = 'C:/Users/didi/Desktop/work/perf/perform_1/' + file
    enco