解决中文乱码
什么是字符编码
总的来说,字符串的编码都只有两大类:
- 通用的
Unicode
编码。 - 将
Unicode
转化成的某种类型的编码。如UTF-8
、GBH
等。
Unicode 被称为统一码、万国码或单一码。它为每种语言中的每个字符设定了统一的并且唯一的二进制编码。
为了节省空间,开发了一些中间格式的字符集。被称为通用转换格式UnicodeTransformation Format(UTF),常见的有 UTF−8 和 UTF−16。
随着互联网的普及,强烈要求出现一种统一的编码方式, UTF−8 就是在互联
网上使用最广的一种Unicode的实现方式。 UTF−8 最大的一个特点是长度可变,它可以使用1一4个字节表示一个符号,英文字母通常被编为1个字节,汉字通常。被编为3个字节,如表 所示。
字符 | ASCII | Unicode | UTF-8 |
---|---|---|---|
A | 01000001 | 00000000 01000001 | 01000001 |
中 | 01001110 00101101 | 11100100 10111000 10101101 |
对于 UTF−8 编码,怎么知道什么时候是1个字节,什么时候是3个字节呢?
其实, UTF−8 的编码规则很简单,只有两条:
- (1)对于单字节的符号,字节的第1位设为0,后面7位为这个符号的
Unicode码。因此对于英语字母。 UTF−8 编码和ASCII码是相同的。 - 对于n字节的符号 (n>1),第1个字节的前n位都设为1,第 n+1 位设为0,后面字节的前两位一律设为10,剩下的没有提及的二进制位全部为这个符号的Unicode码。例如,上述字符A为单字节符号,其 UTF−8 编码字节的第1位是0。而汉字“中”为3个字节符号,第1个字节的前3位都设为1,第1个字节的第4位为。
python 的字符编码
再python中字符的编码使用str
和bytes
编码两种类型。
- str字符串:使用
Unicode
编码。 - bytes字符串:使用将
Unicode
转化成的某种类型的编码,如UTF-8
python3默认字符型编码为Unicode,但python2则不是。
encode和decode
encode
作用是将Unicode
转化成的某种类型的编码。decode
作用是将其他编码的字符串转换成Unicode
编码。
unicode还可以decode吗?
脑洞大开呀,答案是不可以的,unicode不可以再被解码。
UTF-8还可以encode吗?
答案是不可以直接解码,可以节间。就是要先将UTF-8转成Unicode,再进行encode
解决中文编码问题
问题1:使用requests获取网站内容后,出现中文乱码
如r = requests.get(url)
可以先用r.encoding
查看其对应的编码格式,如果是gb2312
就加上r.encode ='gb2312'
问题2:非法字符抛出异常
当我们将某个字符串从GBK解码为Unicode时,可以用
str.decode('GBK')
如果报错可以是一个页面中有多中编码,于是出现了非法字符。
可以使用ignore
忽略掉
str.decode('GBK','ignore')
问题3:网页可能使用了gzip压缩
解决方法是:使用r.content
会自动解码gzip
和deflate
。
r = requests.get(url)
after_gzip = r.content
print(after_gzip.decode('UTF-8')
问题4:读取文件的中文乱码
我们必须在读取文件的时候声明编码格式。如
result_utf8 = open('test_utf8.txt','r',encoding='UTF-8').read()
print(result_utf8)
同理保存的时候也一样
title = '我么'
with open('title.txt','a+',encoding ='UTF-8') as f:
f.write(title)
f.close()