Java抓取URL指定的HTML内容

[color=brown]通过Java获取到URL指定的内容,如果有目标数据可以再写代码解析获取到的内容[/color]

package com.boonya;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.Scanner;

public class WebCapturer {

/**
* 根据用户获取的网络地址获取该网页的内容
* @param myURL 地址
* 如:"http://www.google.com.hk/search?q=biao"
* @return
*/
@SuppressWarnings("resource")
public static String getHtmlByURL(String myURL){
URL url=null;
String htmlContext="";
try {
url = new URL(myURL);
HttpURLConnection conn;
try {
conn = (HttpURLConnection) url.openConnection();
conn.setRequestProperty("User-Agent", // 很重要
"Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) "
+ " Gecko/20090803 Fedora/3.5.2-2.fc11 Firefox/3.5.2");
conn.setRequestMethod("GET");
Scanner scanner = new Scanner(conn.getInputStream());
while (scanner.hasNextLine()) {
htmlContext+=scanner.nextLine();
}
} catch (IOException e) {
e.printStackTrace();
}
} catch (MalformedURLException e) {
e.printStackTrace();
}
return htmlContext;

}

public static void main(String[] args) throws Exception {
System.out.println(WebCapturer.getHtmlByURL("http://www.google.com.hk/search?q=biao"));
}
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值