爬虫报错simplejson.errors.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

今天在爬取百度地图数据时,一开始是可以爬到数据的,但是没有爬完就出现了如下图的报错。
在这里插入图片描述
百度了好久,有以下几种说法:

  1. 请求过于频繁。那就加上sleep语句,隔几秒再提交请求。但是还是会报错。说明不是这个问题。
  2. 要使用双引号("")代替单引号(’’)。也不是这个问题。
  3. json数据格式问题。因为爬到的数据有些不是json格式,所以报错。正解!我打印了get得到的结果,报错之前的是html文本格式,并不是json。不得不说,hj大佬太强了!解决方法是:构造get请求参数param,把不合格数据筛掉(大佬说就是这样写的,我。。。行吧)
    下面是关键部分:
    原来的报错代码:
url = url_base + '?' + 'address=' + address  + '&output=' + output + '&ak=' + ak 
res = requests.get(url)
temp = json.loads(res.text)
url = url_base
data = {
   'ak': ak,
   'address': address,
   'output': output
}
res = requests.get(url, headers=headers, params=data)  # 添加请求头
print(res.text)
temp = json.loads(res.text)

PS:呜呜呜,菜鸡落泪了,搞了好久,特意写下来学习一下。

  • 24
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值