python 3.5 对文件格式进行转换

思路如下：

对任意文件，使用Unicode码进行解码，然后再由Unicode转换为任意编码

可参考

http://blog.sina.com.cn/s/blog_6d7cf9e50102vo90.html

代码如下

# -*- coding: utf-8 -*-
"""
Created on Thu Jan 19 13:42:22 2017


@author: xiaoyuanl
"""
#以unicode为中枢进行转换




filename = 'foreigncitation'


fp = open(filename+".tsv",'rb')


out = open(filename+'_utf8.tsv','bw')


i=1
for content in fp:
    result=content.decode('unicode-escape').encode('utf-8')
    out.write(result)
    if i%10000==0:
        print(i)
    i=i+1
fp.close()
out.flush()
out.close()
print("OK")


#re.sub("'"," ",line[i+1:jieduan+1+i]+"*#")