-
网页编码方式的查看方法
F12打开开发者工具->在控制台console输入document.charset回车
-
scrapy框架爬取以“GBK”编码的网页
方法一:
req = requests.get(headers=header, url=url)
content = req.content
print(content.encode('utf-8'))
然后将输出流到某一文件中,用utf-8编码打开
方法二:
req = requests.get(headers=header, url=url)
req.encoding = "gbk"
print(req.content)
然后用gbk编码打开文件
我粗暴地修改了scrapy库里robotstxt.py中的默认utf-8编码,也可以,不过这种方法不推荐,下一次爬取还得改回来。