python3 with open 使用codecs

在Ubuntu 18.04 使用 python3.6 处理文件时，为了偷懒我使用了 with open 这个指令这样它就可以自动关闭文件。但是在运行的时候出了些小问题：

SyntaxError: Non-ASCII character '\xef'

这看起来是 with open 默认使用 ASCII 编码，但是我的文件用的并不是。我通过 vim 查看了它的编码

vim 文件名

:set fileencoding // 进入命令模式

输出 fileencoding=utf-8，果然是 utf-8 呀，其实用普通方式打开不会出问题的，只是这个似乎没有那么智能转换编码……那就手动一下呗。

我们使用 codecs 和 chardet，其中 codecs 来指定打开的编码然后 chardet 来检测这个文件使用的编码格式。

import codecs

import chardet

with open("文件位置","rb") as f: // 一定要二进制打开，否则无法读取

    charset = chardet.detect(f1.read())

with codecs.open("文件位置","r",charset['encoding']) as f:
这里 chardet 会给我们提供一个字典，类似这种

{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

所以我们调用 encoding 这个 key 就可以得到值，再指定 codecs 用这种编码打开即可。

参考资料：

https://blog.csdn.net/ywf331/article/details/80536033

还有一个忘记了orz