问题:
批量打不开不同编码的文本,出现乱码
解决办法
先用chardet获取编码,再用得到的编码打开文件
# 先打开100个字节,用chardet库获取编码
sample_len = min(100, os.path.getsize(txt_file))
raw = open(txt_file, 'rb').read(sample_len)
detect = chardet.detect(raw)
# 用获取的编码,重新打开文件
with open(txt_file, 'r+', encoding=detect['encoding'], errors='ignore') as fp:
line = fp.readline()