在爬取某个网站时,爬取第一个页面能正常获取,爬取第二个页面,获取文章内容时,返回的数据为中文乱码,乱码如下:
{"rptCode":200,"msg":"鎴愬姛","data":{"docId":989402,"docTitle":"閾惰淇濋櫓鏈烘瀯鎭㈠鍜屽缃鍒掑疄鏂芥殏琛屽姙娉�"}
尝试解决:
查找办法让在setting.py文件中添加设置编码格式的代码:
FEED_EXPORT_ENCODING = 'utf-8'
添加后依旧不可以。
使用其他的格式编码:
reponse.body.decode('gbk')
会报错,某个字段不能被转换。
继续查找其他方法,此方法可以解决:
首先安装 chardet 库,使用以下代码,可以正常解决乱码问题,
用chardet检测编码,只需要一行代码:
>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
import chardet
gbkContent = response.body.decode(chardet.detect(response.body)['encoding'])
print(gbkContent)
成功结果如下
{"rptCode":200,"msg":"成功","data":{"docId":989402,"docTitle":"恢复和处置计划实施暂行办法"}