思路:利用Python的chardet
使用方法: conda 或者 pip,在线安装 pip install XXX,下载下来后 pip install 目录
代码如下
# -*- coding: utf-8 -*-
"""Created on Thu Jan 19 11:27:53 2017
@author: xiaoyuanl
"""
import chardet
name="foreigncitation.tsv"
f = open(name,'rb')
data = f.read(200000)
print(name+": "+str(chardet.detect(data)))