文件确认编码与转码

问题描述

我因为需要，要读取三个独立的csv文件，province.csv，city.csv，area.csv，然而在我读取过程中，要么是：

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 221: illegal multibyte sequence

要么是

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 77: invalid continuation byte

然而这都不是我想要的结果。

问题检测

我想着合并会不会好一点：
然而在合并的时候我按encoding = 'uft-8’读取，虽然是会读取所有文件，但最后进入合并文件的，只有area.csv。
然后我改变读取编码encoding= 'gbk’的时候，只有city.csv和province.csv。
这个时候我需要确定文件编码类型。

测试编码

import chardet
def ensure_coding(filename