httpclient DNS cache问题解决办法

the JVM will cache the dns information for me automatically after the first query

也就是说,httpclient去抓取每个url时,JVM都会自动cache住 这个url和对应的ip,并且是永远cache住,除非cache住的内容大于 JVM的限制 ,如果将来这个url(域名)更换了ip,httpclient会首先去JVM的cache里取,如果取到了。直接根据这个ip去抓取。

所以往往某个域名更换了IP,抓取结果都是604错误。

解决办法:

networkaddress.cache.ttl (default: -1)
    Specified in java.security to indicate the caching policy for successful
    name lookups from the name service. The value is specified as as integer
    to indicate the number of seconds to cache the successful lookup.

    A value of -1 indicates "cache forever".

所以只需在java代码里添加:

 

 
java 代码
  1. java.security.Security.setProperty("networkaddress.cache.ttl" , "0");   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值