使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小

　　最近接到一个新的需求，要求给定一个url地址，获取该网页的title和图标地址，大致的思路是使用HttpUrlConnection抓取网页的源码，然后使用正则表达式匹配网页的标题和图标。

开发测试的过程中遇到了N多问题，简单总结一下;

（一）.限制返回的网页大小

　　在使用HttpUrlConnection获取网页内容时，最基本的做法就是获取http输入流，然后读取完整的网页内容，最后关闭输入流和http连接，但这里需要考虑的就是由于需求只是为了获取网页头信息中的title和icon，因此不需要下载完整的网页内容，只需要保证取到完整的头信息就行，思路就是从http输入流中读取指定大小的数据。

 1 try (InputStream inputStream = httpURLConnection.getInputStream();
 2       InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
 3       BufferedReader reader = new BufferedReader(inputStreamReader);) {
 4 
 5                 // 只获取10KB的数据
 6                 char[] chars = new char[10 * 1024];
 7                 reader.read(chars, 0, 10 * 1024);
 8 
 9                 httpURLConnection.disconnect();
10                 return new String(chars);
11             }

　　验证了几个比较大型的网站，10KB的数据足够获取到head信息。

 

转载于:https://www.cnblogs.com/superzong/p/6437056.html