使用HTTPClient抓取京东数据出现错误

在使用httpclient抓取某东的数据的商品数据的时候,开始数据可以正常插入到数据库中,但是代码运行一会儿以后,就会出现下面这个错误:
idea中异常显示如下:

2020-03-04 13:12:38.344 ERROR 20008 --- [   scheduling-1] o.s.s.s.TaskUtils$LoggingErrorHandler    : Unexpected error occurred in scheduled task
java.lang.IllegalArgumentException: Expected scheme-specific part at index 6: https:
	at cn.itcast.jd.utils.HttpUtils.doGetImage(HttpUtils.java:85) ~[classes/:na]
	at cn.itcast.jd.task.ItemTask.parse(ItemTask.java:90) ~[classes/:na]
	at cn.itcast.jd.task.ItemTask.itemTask(ItemTask.java:41) ~[classes/:na]
Caused by: java.net.URISyntaxException: Expected scheme-specific part at index 6: https:
	at java.net.URI$Parser.fail(URI.java:2848) ~[na:1.8.0_231]
	at java.net.URI$Parser.failExpecting(URI.java:2854) ~[na:1.8.0_231]
	... 17 common frames omitted

首先对异常进行分析:IllegalArgumentException 非法参数异常显示参数不正确,代码定位到cn.itcast.jd.utils.HttpUtils.doGetImage(HttpUtils.java:85)
在这里插入图片描述
猜测可能是这里传入的url有问题。
通过debug模式查看,发现有些数据是没有图片的,我们这里进行过滤了一下,将没有图片的数据给筛选掉了。
虽然会让数据不全,但是我这里毕竟只是一个demo,也就不严格要求了。后期遇到类似的需求,可以考虑一下。
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值