python中解决中文乱码

什么是字符编码

总的来说，字符串的编码都只有两大类：

1. 通用的Unicode编码。
2. 将Unicode转化成的某种类型的编码。如UTF-8、GBH等。

Unicode 被称为统一码、万国码或单一码。它为每种语言中的每个字符设定了统一的并且唯一的二进制编码。
为了节省空间，开发了一些中间格式的字符集。被称为通用转换格式UnicodeTransformation Format(UTF)，常见的有 UTF−8 和 UTF−16。
随着互联网的普及，强烈要求出现一种统一的编码方式， UTF−8 就是在互联
网上使用最广的一种Unicode的实现方式。 UTF−8 最大的一个特点是长度可变，它可以使用1一4个字节表示一个符号，英文字母通常被编为1个字节，汉字通常。被编为3个字节，如表 所示。

字符	ASCII	Unicode	UTF-8
A	01000001	00000000 01000001	01000001
中		01001110 00101101	11100100 10111000 10101101

对于 UTF−8 编码，怎么知道什么时候是1个字节，什么时候是3个字节呢?
其实， UTF−8 的编码规则很简单，只有两条：

1. (1)对于单字节的符号，字节的第1位设为0，后面7位为这个符号的
   Unicode码。因此对于英语字母。 UTF−8 编码和ASCII码是相同的。
2. 对于n字节的符号 (n>1),第1个字节的前n位都设为1，第 n+1 位设为0，后面字节的前两位一律设为10，剩下的没有提及的二进制位全部为这个符号的Unicode码。例如，上述字符A为单字节符号，其 UTF−8 编码字节的第1位是0。而汉字“中”为3个字节符号，第1个字节的前3位都设为1，第1个字节的第4位为。

python 的字符编码

再python中字符的编码使用str和bytes编码两种类型。

1. str字符串：使用Unicode编码。
2. bytes字符串：使用将Unicode转化成的某种类型的编码，如UTF-8
   
   python3默认字符型编码为Unicode，但python2则不是。

encode和decode

• encode作用是将Unicode转化成的某种类型的编码。
• decode作用是将其他编码的字符串转换成Unicode编码。
  

unicode还可以decode吗？

脑洞大开呀，答案是不可以的，unicode不可以再被解码。

UTF-8还可以encode吗？

答案是不可以直接解码，可以节间。就是要先将UTF-8转成Unicode，再进行encode

解决中文编码问题

问题1：使用requests获取网站内容后，出现中文乱码

如r = requests.get(url)
可以先用r.encoding查看其对应的编码格式，如果是gb2312
就加上r.encode ='gb2312'

问题2：非法字符抛出异常

当我们将某个字符串从GBK解码为Unicode时，可以用

str.decode('GBK')

如果报错可以是一个页面中有多中编码，于是出现了非法字符。
可以使用ignore忽略掉

str.decode('GBK','ignore')

问题3：网页可能使用了gzip压缩

解决方法是：使用r.content会自动解码gzip和deflate。

r = requests.get(url)
after_gzip = r.content
print(after_gzip.decode('UTF-8')

问题4：读取文件的中文乱码

我们必须在读取文件的时候声明编码格式。如

result_utf8 = open('test_utf8.txt','r',encoding='UTF-8').read()
print(result_utf8)

同理保存的时候也一样

title = '我么'
with open('title.txt','a+',encoding ='UTF-8') as f:
	f.write(title)
	f.close()