Python读取text文档后,表面上看起来一样长的字符串,但两者长度却不一样(\ufeff)
1、Python读取text文档
使用python来读取txt文档,两个字符串的长度不一样,是因为使用普通的ecoding=“utf-8”,读取出来的字符串前面会带一个(\ufeff),长度为1.这样的话,读取出来的字符串长度永远比真实所要的字符串长度多1.用strip()也去不掉
网上搜索后发现原来是文本保存时包含了BOM(Byte Order Mark,字节顺序标记,出现在文本文件头部,Unicode编码标准中用于标识文件是采用哪种格式的编码)导致的,保存 txt 文件时一定要注意不要带有 bom,如果已经包含了 bom 则可使用 notepad++ 编辑器转换为无BOM格式的文本文件。
修改过后的正确写法
2、Python读取json文件
text = open(global_newest_pool, "r", encoding="utf-8-sig")
for line in text.readlines():
jsonOne = json.loads(line)
# print(jsonOne['_id'])
# 读取json文件格式的数据,加载到内存
with open(global_recall_result_one, "wb+") as f:
f.write(str(fina_recall_list).encode('utf-8'))
#json.dumps(paperList, f)
print("写入单个的文件完成")
#把整个列表存入json文件,整个列表占一行
if os.path.isfile(global_recall_result_many):
os.remove(global_recall_result_many)
#先判断这个json文件存在不?存在就删除,因为后面是追加模式,把每一个完整列表追加到下一行。
with open(global_recall_result_many, "ab+") as f:
f.write(str(recallPaperList).encode('utf-8'))
f.write(str('\n').encode('utf-8'))