java缓存http请求_Java HttpClient似乎是缓存内容

我正在构建一个简单的web-scraper,我需要获取相同的页面几百次,并且页面中的属性是动态的,并且应该在每个请求时更改.我已经构建了一个基于多线程HttpClient的类来处理请求,我正在使用ExecutorService来创建线程池并运行线程.问题是动态属性有时不会在每个请求上发生变化,最终会在3或4个后续线程上获得相同的值.我已经阅读了很多关于HttpClient的内容,我真的无法找到这个问题的来源.它可能是缓存或类似的东西!?

更新:这是每个线程中执行的代码:

HttpContext localContext = new BasicHttpContext();

HttpParams params = new BasicHttpParams();

HttpProtocolParams.setVersion(params, HttpVersion.HTTP_1_1);

HttpProtocolParams.setContentCharset(params,

HTTP.DEFAULT_CONTENT_CHARSET);

HttpProtocolParams.setUseExpectContinue(params, true);

ClientConnectionManager connman = new ThreadSafeClientConnManager();

DefaultHttpClient httpclient = new DefaultHttpClient(connman, params);

HttpHost proxy = new HttpHost(inc_proxy, Integer.valueOf(inc_port));

httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY,

proxy);

HttpGet httpGet = new HttpGet(url);

httpGet.setHeader("User-Agent",

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");

String iden = null;

int timeoutConnection = 10000;

HttpConnectionParams.setConnectionTimeout(httpGet.getParams(),

timeoutConnection);

try {

HttpResponse response = httpclient.execute(httpGet, localContext);

HttpEntity entity = response.getEntity();

if (entity != null) {

InputStream instream = entity.getContent();

String result = convertStreamToString(instream);

// System.out.printf("Resultado\n %s",result +"\n");

instream.close();

iden = StringUtils

.substringBetween(result,

"

"\" type=\"hidden\"/>");

System.out.printf("IDEN:%s\n", iden);

EntityUtils.consume(entity);

}

}

catch (ClientProtocolException e) {

// TODO Auto-generated catch block

System.out.println("Excepção CP");

} catch (IOException e) {

// TODO Auto-generated catch block

System.out.println("Excepção IO");

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值