python爬虫京东中文乱码_爬虫爬取数据时各种中文乱码问题

学爬虫有一段时间了,期间总是觉得内容编码会傻傻分不清楚,尤其是直接网页拿数据的时候,遇见中文有时候特别麻烦,看大神介绍的东西太多,只记下了处理方式,仅供参考,不对地方欢迎大家指正~~

一般请求返回内容编码方式步骤如下:

1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写:

2、编码解析:

respond.decode(请求返回的编码格式).encode(Python默认的utf-8)

笔记中其他大神这样教,实践中大多情况我都用:respond.encode(Python默认的utf-8).decode(请求返回的编码格式)

爬取网页内容正常编译,无报错,英文均显示正常,中文乱码

最近爬取免费取名网站时候,遇见爬下来的编码正确编码后无报错,英文均显示正常,但是中文奇奇怪怪乱码情况如下图,网页编码两种情况遇见解析后如此,处理方法如下,

第一种:网页编码为gb2312 (requests的get方式获取数据)

原来处理方式(出现上图乱码),响应内容=respond.text.encode('utf-8').decode('gb2312')×

改进处理方式:    ① respond.content.decode('gb18030','ignore')  ---亲试遇见中文响应内容解析还是用这种方式好

② respond.content.decode('gbk','ignore')

#使用gbk2312出现报错'gb

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值