学爬虫有一段时间了,期间总是觉得内容编码会傻傻分不清楚,尤其是直接网页拿数据的时候,遇见中文有时候特别麻烦,看大神介绍的东西太多,只记下了处理方式,仅供参考,不对地方欢迎大家指正~~
一般请求返回内容编码方式步骤如下:
1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写:
2、编码解析:
respond.decode(请求返回的编码格式).encode(Python默认的utf-8)
笔记中其他大神这样教,实践中大多情况我都用:respond.encode(Python默认的utf-8).decode(请求返回的编码格式)
爬取网页内容正常编译,无报错,英文均显示正常,中文乱码
最近爬取免费取名网站时候,遇见爬下来的编码正确编码后无报错,英文均显示正常,但是中文奇奇怪怪乱码情况如下图,网页编码两种情况遇见解析后如此,处理方法如下,
第一种:网页编码为gb2312 (requests的get方式获取数据)
原来处理方式(出现上图乱码),响应内容=respond.text.encode('utf-8').decode('gb2312')×
改进处理方式: ① respond.content.decode('gb18030','ignore') ---亲试遇见中文响应内容解析还是用这种方式好
② respond.content.decode('gbk','ignore')
#使用gbk2312出现报错'gb