使用爬虫的时候,时常被编码问题困扰,可以通过打开检查,查看网页的源代码
打开head标签,能看到苹果网页是用utf-8编码格式
电影天堂的编码是gb2312
假如说,我爬取电影天堂网页的时候,没去关心它是什么编码的,就习惯写成编码'utf-8'
但因为这个网页不是用utf-8编码的,所以爬取时就会出现乱码
import requests
url = 'https://www.dytt8.net/index.htm'
res = requests.get(url)
res.encoding = 'utf-8'
print(res.text)
这时候,第一时间就是想到去网页,看看这个网页是用什么标准编码的
但还有一个方法,就是可以通过res.apparent_encoding查看是用什么标准编码的
import requests
url = 'https://www.dytt8.net/index.htm'
res = requests.get(url)
print(res.apparent_encoding)
可以看到电影天堂网页,是GB2312编码的
但是,并没必要把GB2312写去encoding那
我可以把请求的编码设置为原网页的编码(留意下方代码第四行)
import requests
url = 'https://www.dytt8.net/index.htm'
res = requests.get(url)
res.encoding = res.apparent_encoding
print(res.text)
这下,就能正确显示中文了
所以这也是为什么爬虫里大多数会写
res.encoding = res.apparent_encoding
就不用考虑网页文字编码的问题了
本文转载自以下链接:网页编码_Python获取网页编码(apparent_encoding)_Jay星晴的博客-CSDN博客