下面是编程之家 jb51.cc 通过网络收集整理的代码片段。
编程之家小编现在分享给大家,也给大家做个参考。
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
/**
* java采集网页
*
*/
public class HttpWebCollecter {
/**
* 网页抓取方法
*
* @param urlString
* 要抓取的URL地址
* @param charset
* 网页编码方式
* @param timeout
* 超时时间
* @return 抓取的网页内容
* @throws IOException
* 抓取异常
*/
public static String GetWebContent(String urlString,final String charset,int timeout) throws IOException {
if (urlString == null || urlString.length() == 0) {
return "";
}
urlString = (urlString.startsWith("http://") || urlString
.startsWith("https://")) ? urlString : ("http://" + urlString)
.intern();
URL url = new URL(urlString);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setDoOutput(true);
conn.setRequestProperty("Pragma","no-cache");
conn.setRequestProperty("Cache-Control","no-cache");
int temp = Integer.parseInt(Math.round(Math.random()
* (UserAgent.length - 1))
+ "");
conn.setRequestProperty("User-Agent",UserAgent[temp]); // 模拟手机系统
conn.setRequestProperty("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");// 只接受text/html类型,当然也可以接受图片,pdf,*/*任意,就是tomcat/conf/web里面定义那些
conn.setConnectTimeout(timeout);
try {
if (conn.getResponseCode() != HttpURLConnection.HTTP_OK) {
return "";
}
} catch (Exception e) {
try {
System.out.println(e.getMessage());
} catch (Exception e2) {
e2.printStackTrace();
}
return "";
}
InputStream input = conn.getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(input,charset));
String line = null;
StringBuffer sb = new StringBuffer("");
while ((line = reader.readLine()) != null) {
sb.append(line).append("\r\n");
}
if (reader != null) {
reader.close();
}
if (conn != null) {
conn.disconnect();
}
return sb.toString();
}
public static String[] UserAgent = {
"Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML,like Gecko) Version/4.0 Mobile Safari/533.2","Mozilla/5.0 (iPad; U; cpu OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML,like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.11","Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML,like Gecko) BrowserNG/7.1.18121","Nokia5700AP23.01/SymbianOS/9.1 Series60/3.0","UCWEB7.0.2.37/28/998","NOKIA5700/UCWEB7.0.2.37/28/977","Openwave/UCWEB7.0.2.37/28/978","Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/989" };
}
以上是编程之家(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。
如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。
总结
以上是编程之家为你收集整理的java采集网页 抓取网页全部内容,希望文章能够帮你解决java采集网页 抓取网页所遇到的程序开发问题。
如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您喜欢交流学习经验,点击链接加入交流1群:1065694478(已满)交流2群:163560250