Java 检查URL是否存在

Java 检查URL是否存在

本文我们介绍使用HTTP的GET和HEAD方法检查URL是否存在。

1. URL存在性

实际开发中常常遇到访问给定URL之前检查其是否存在的场景，或可能需要检查URL资源是否健康。
通过访问URL的响应码判断其是否存在，一般查看是否为200，即为“OK”(请求成功)。

2. 使用GET请求

首先我使用GET请求，通过创建 java.net.URL实例并传入URL作为构造函数参数，然后使用open方法打开连接并获得响应码：

URL url = new URL("http://www.example.com");
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_OK, responseCode);

当没有发现该URL资源，则获得404响应码：

URL url = new URL("http://www.example.com/xyz"); 
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_NOT_FOUND, responseCode);

缺省HttpURLConnection 的http方法为GET请求，本例中我们没有设置请求方法，下节我们设置请求方法代替缺省情况。

3. 使用HEAD请求

HEAD请求与GET请求一样，除了其不返回响应体。对同样资源使用HEAD方法会返回响应码和响应头信息。为了发起head请求，仅需要在HttpURLConnection上设置请求方法为HEAD:

URL url = new URL("http://www.example.com");
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
huc.setRequestMethod("HEAD");
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_OK, responseCode);

类似，当资源没有发现时：

URL url = new URL("http://www.example.com/xyz");
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
huc.setRequestMethod("HEAD");
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_NOT_FOUND, responseCode);

通过使用HEAD方法，没有下载响应体，减少了响应时间和带宽，提升了性能。虽然大多数现代服务器都支持HEAD方法，一些自行搭建的或遗留服务器可能会以无效的方法类型错误拒绝HEAD方法。所以应该谨慎使用HEAD方法。

4. 是否重定向

最后，当检测URL是否存在时，不接受重定向可能是好的想法。但这也取决于我们检查URL的原因。当URL被移除时，服务器重定向请求至新的url及3xx响应码。缺省为接受重定向，我们也可以通过参数选择接受或忽略重定向。仅需要覆盖followRedirects的缺省值。

URL url = new URL("http://www.example.com");
HttpURLConnection.setFollowRedirects(false);
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_OK, responseCode);

或者通过使用setInstanceFollowRedirects()方法禁用单个连接接受重定向:

URL url = new URL("http://www.example.com");
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
huc.setInstanceFollowRedirects(false);
  
int responseCode = huc.getResponseCode();
  
Assert.assertEquals(HttpURLConnection.HTTP_OK, responseCode);

总结

本文我们通过检查HTTP请求响应码确定URL是否可用。如何可能尽量使用HEAD请求，这样可以节约带宽提升响应速度。