前言:
今天简单爬取一个网页的源代码时,发现出现了乱码
python代码:
import requests
req = requests.get("http://www.ccit.js.cn")
req_text = req.text
print(req_text)1
2
3
4
5
部分截图:
分析:出现这样的情况是什么原因呢?
(1)我们先来测试一下python3的默认编码是什么
import sys
print('目前系统的编码为:',sys.getdefaultencoding())
name1="惊鸿一面"
name2=name1.encode("utf-8")#str通过(encode)转为bytes
print("name1的类型:",type(name1))
print("name2的类型",type(name2))
print(name2)1
2
3
4
5
6
7
8
运行结果:
(2)知识点:
python3默认编码为utf-8(unicode的一个子集,也是属于unicode,这也就是为什么有人说python3的默认编码是unicode,实际上是和utf-8是一样的)
字符串用str表示,编码后的字符串用二进制bytes表示
字符串通过编码转换为字节码,字节码通过解码转换为字符串
str通过(encode)转为bytes,bytes通过(decode)转为str
(3)原因总结:
Python3的默认编码是utf-8,所有的数据他都会以utf-8进行编码(encode)。因此,Python3将目标网站的源码爬取之后进行utf-8编码,但我们所爬取的目标网站是GB2312编码,与Python3的默认编码不同,因而造成乱码
解决方案:
使用通用的编码格式
(4)注:
str类型的对象都是unicode,因此对于str类型的对象只有encode()方法,没有decode()方法(如果运行,会报错)
原因是:只有bytes(二进制)的值才能decode,你字符串是吗??!!
避免出现乱码的准则:
遵循编码使用哪种格式,解码就使用哪种格式。
出现类似UnicodeEncodeError: 'gb2312' codec can't encode character '\xb3' in position 293: illegal multibyte sequence的原因是,你需要解码的文件中有些中文字符无法进行解码(有些中文字符是不在GB2312范围内的)
此时,我们可以使用它GBK或者它的父集GB18030
(5)我们以几种常见的编码格式进行encode测试
import requests
req= requests.get("http://www.ccit.js.cn")
req_text1=req.text.encode("utf-8")
req_text2=req.text.encode("GB2312")
req_text3=req.text.encode("GB18030")
print(req_text1)#成功编码成bytes
print(req_text2)#UnicodeEncodeError: 'gb2312' codec can't encode character '\xb3' in position 293: illegal multibyte sequence
print(req_text3)#成功编码成bytes1
2
3
4
5
6
7
8
(6)接着上面又做了decode测试,遵行编码使用准则,但是还是乱码!!
import requests
req= requests.get("http://www.ccit.js.cn")
req_text1=req.text.encode("utf-8").decode("utf-8")
req_text2=req.text.encode("utf-8").decode("GB2312")
req_text3=req.text.encode("utf-8").decode("GB18030")
req_text4=req.text.encode("GB18030").decode("utf-8")
req_text5=req.text.encode("GB18030").decode("GB2312")
req_text6=req.text.encode("GB18030").decode("GB18030")
print(req_text1)#成功但是乱码
print(req_text2)#UnicodeDecodeError: 'gb2312' codec can't decode byte 0xc3 in position 297: illegal multibyte sequence
print(req_text3)#成功但是乱码
print(req_text4)#UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81 in position 293: invalid start byte
print(req_text5)#UnicodeDecodeError: 'gb2312' codec can't decode byte 0x81 in position 293: illegal multibyte sequence
print(req_text6)#成功但是乱码1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
解决方法:
那到底怎样才能解决呢???请看如下代码:
import requests
req= requests.get("http://www.ccit.js.cn")
req_text=req.text.encode("latin1").decode("GBK")
print(req_text)1
2
3
4
这里进行encode时使用了latin1。
Latin1是ISO-8859-1的别名,有些环境下写作Latin-1。ISO-8859-1编码是单字节编码,向下兼容ASCII,其编码范围是0x00-0xFF,0x00-0x7F之间完全和ASCII一致,0x80-0x9F之间是控制字符,0xA0-0xFF之间是文字符号。
因为ISO-8859-1编码范围使用了单字节内的所有空间,在支持ISO-8859-1的系统中传输和存储其他任何编码的字节流(bytes)都不会被抛弃。换言之,把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题。