java爬虫乱码 unicode_解决爬虫中文乱码问题

在尝试爬取特定网址内容时,遇到中文乱码问题。通过查看浏览器源代码发现该网址使用GBK编码,而使用requests库获取的编码为ISO-8859-1。通过手动设置requests的编码为GBK,解决了中文乱码,确保在不同环境下都能正确显示中文。
摘要由CSDN通过智能技术生成

今天群里有个人反映某个网址爬出来的网页源代码出现中文乱码,我研究了半天,终于找到了解决方法。

一开始,我是这样做的:

importrequests

url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9'

print requests.get(url).content

这样做,如果用命令行去运行,得到的内容中文显示正常,但如果用pycharm运行得到的确实乱码。

这个问题我一时半会还不知道是为什么,如果有人知道,请告诉我,谢谢!

后来,我在网上查阅资料,发现可以通过下面这种方式解决中文乱码问题:

首先,我们在浏览器中打开网址,通过查看源代码可以发现这个网址采用的编码是GBK:

55d3008235ac3585f1fc5ae7840ec9e5.png

然后我们通过下面这段代码发现通过requests获取的编码不是GBK,而是I

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值