爬虫-解决中文乱码

问题：获取网站中文显示乱码

使用requests.get获取了网页代码之后，发现其中有部分为乱码

这是一般是编码问题导致的

解决

查看正确编码

只需要在get得到代码的基础上，print()中将text换为encoding即可

#!/usr/bin/python
# coding: utf-8

import requests
r = requests.get("你要爬取的网址")
print(r.encoding)

我们就会得到该网址的编码
再将其以正确的编码输出

#!/usr/bin/python
# coding: utf-8

import requests

r1 = requests.get("你要爬取的网址")
r1.encoding='上一步中输出的正确编码'
print(r1.text)

解决gzip压缩

也许我们在进行了上述操作之后，发现代码中仍存在乱码，与网页检查得到的代码比较，我们发现乱码部分都是中文部分。这就说明网页制作者使用gzip将网页压缩了，下面我们要将其解码。
使用.coment可以将其解码

#!/usr/bin/python
# coding: utf-8

import requests
import chardet

r1 = requests.get("你要爬取的网址")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
print(chardet.detect(after_gzip))

这样你就会获取解压后的字符串编码，以’encoding’:'正确编码’形式呈现，再以这个编码将内容输出

#!/usr/bin/python
# coding: utf-8

import requests
import chardet

r1 = requests.get("你要爬取的网址l")
r1.encoding='上一步得到的编码'
after_gzip= r1.content
html = after_gzip.decode('这一步得到的编码')
print(html.text)

这样我们就获得了没有中文乱码的内容