关于一次java httpget 请求bug的处理方式

最新推荐文章于 2024-02-22 16:24:52 发布

一只敲代码的闲鱼

最新推荐文章于 2024-02-22 16:24:52 发布

阅读量567

点赞数

分类专栏： java 文章标签： java http get 爬虫数据不返回

本文链接：https://blog.csdn.net/woaidyc/article/details/88572035

版权

java 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

最近在用java写爬虫的时候遇到一个很特别的问题，特此在此记录一下：

HttpGet get = new HttpGet(url);  #建立一个get请求
CloseableHttpClient closeableHttpClient = HttpClients.createDefault();
RequestConfig requestConfig = RequestConfig.custom().setProxy()
    .setSocketTimeout(3000)
    .setConnectionRequestTimeout(3000)
    .setConnecTimeout(3000).build();
get.setConfig(requestConfig);  #设置超时时间（一般来说设置超时时间后不会出现请求不返回也不响应的状态）

# 用来实现一个类似于定时器的功能，让你的请求在时间内做出响应，如果没有响应则自动断开
ExecutorService executorService = Executors.newSingleThreadExecutor();
FutureTask<CloseableHttpResponse> futureTask = new FutureTask<>(new Callable<CloseableHttpResponse>() {
     @Override
     public CloseableHttpResponse call() throws Exception {
          CloseableHttpResponse response = closeableHttpClient.execute(get);
          return response;
                }
            });
executorService.execute(futureTask);
# 设置返回的时间
CloseableHttpResponse response = futureTask.get(10,TimeUnit.SECONDS);

解决的问题是，我在设置了超时时间之后依然出现了请求发出去没有返回，我自己是加了代理的，应该是在代理那一层卡住了，但是在咨询了代理商后他们也没有给出一个解决方案，没办法只好自己来，我是一个写python的人，就想到了一个用装饰器写一个定时器的方法，但是奈何本人java菜鸡一个，只好百度一波，好不容易找到了这个方法来强制对http请求做返回，OK 问题解决。

这个方法也是百度的，但是忘记了是看的谁的博客，如果有什么冒犯，请联系我~