HttpClient设置代理的请求

最新推荐文章于 2024-05-29 17:52:30 发布

dfgip

最新推荐文章于 2024-05-29 17:52:30 发布

阅读量1.5k

点赞数

分类专栏： spider 文章标签： Httpclient

本文链接：https://blog.csdn.net/dfgip/article/details/52248420

版权

spider 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

在爬取数据的时候有的时候不能使用自己的真实ip爬取，需要简单配置一下用代理来完成。

public static String getHttpGet(String url){ //get请求
        HttpHost proxy = new HttpHost("127.0.0.1", 1080);
        DefaultProxyRoutePlanner routePlanner = new DefaultProxyRoutePlanner(proxy);
        CloseableHttpClient httpclient = HttpClients.custom()
                .setRoutePlanner(routePlanner)
                .build();
       HttpGet get=new HttpGet(url);
       try {
           CloseableHttpResponse response = httpclient.execute(get);

           HttpEntity entity = response.getEntity();
           return EntityUtils.toString(entity);
       } catch (ClientProtocolException e) {
           e.printStackTrace();
       } catch (IOException e) {
           e.printStackTrace();
       }
       return null;
   }