python3默认的字符编码和文件编码_python3encode字符串且open写入文件乱码

python里写入文件出现乱码通常都是因为编码导致的。很多人说我已经encode设置为utf-8了呀，怎么还会出现乱码呢？

其实这里涉及到2个编码的问题

1、字符串的编码，比如我们爬虫返回的text的编码

2、文件的编码

要想不出现编码，必须保证文字的编码和文件的编码一致。

例子

from urllib import request

#json解析库，对应到lxml

import json

#json的解析语法，对应到xpath 如果不存在则需要 pip install jsonpath

import jsonpath

url = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:67.0) Gecko/20100101 Firefox/67.0"}

my_request = request.Request(url, headers = headers)

response = request.urlopen(my_request)

#取出json文件里的内容，返回的格式是字符串

html = response.read()

#把json格式字符串转化为python对象，此处返回的是一个Unicode字符

unicodeStr = json.loads(html)

#从根节点开始，匹配name节点

city_list = jsonpath.jsonpath(unicodeStr, '$..name')

#dumps() 默认中文为ascii编码格式，ensure_ascii 默认为True

#禁用ascii编码格式，返回的Unicode字符串，方便使用

str = json.dumps(city_list, ensure_ascii = False)

#将Unicode字符串的编码改为utf-8

str = str.encode('utf-8').decode('utf-8')

#文件打开的时候需要保存编码为utf-8

with open("city.json", "w", encoding='utf-8') as f:

f.write(str)

说明

1、str = str.encode('utf-8').decode('utf-8')。在Python3中，encode后的字符串格式变成了bytes格式了，因此我们这里又进行一次decode，将转换后的utf-8编码的bytes类型转化为string类型。

2、open("city.json", "w", encoding='utf-8') 打开文件，如果文件不存在，window系统新建文件时默认为ANSI格式编码，不支持中文。所以，我们应该尽量加上新建文件的编码类型。

字符串编码转换

# 1. 因为Python3默认字符串是unicode格式

unicodeStr = "你好地球"

print(unicodeStr)

# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码

gbkData = unicodeStr.encode("GBK") print(gbkData)

# 1. 再将 GBK 编码格式字符串 转化成 Unicode

unicodeStr = gbkData.decode("gbk") print(unicodeStr)

# 2. 再将 Unicode 编码格式字符串转换成 UTF-8

utf8Str = unicodeStr.encode("UTF-8") print(utf8Str)