在使用python爬取网页时,经常会遇到乱码问题,一旦遇到乱码问题,就很难得到有用的信息。本人遇到乱码问题,一般有以下几个方式:
1、查看网页源码中的head标签,找到编码方式,例如:
在上图中,可以看到charset='utf-8',说明这个网页很大可能是采用‘UTF-8’编码(是很大可能,但不是百分之百),因此可以试试这个编码方式:
result = response.content.decode('utf-8')
这种方式得到的内容基本上就不会乱码
2、如果上述的方式没有任何作用,页面依然乱码;或者在head标签下并没有找到charset属性;或者我们要采集很多网页的信息,而且这些网页的编码方式不尽相同,我们不可能做到一个一个网页的去查看head标签,那么可以采用下面的方式解决乱码。
2.1 python 的 chardet库
可以使用下面的方式解决乱码问题
result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
从输出结果可以看出这是“猜测”编码,猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。