第一种方式:需要导入jsoup.jar包
1、给定一个url获得相对应的text文本
Document doc doc = Jsoup.connect("链接地址").get();
2、通过select条件过滤符合的元素
Elements elements = doc.select("table[class=page_con]").select("tr");
3、通过for循环获得想要的值
for (int i = 0; i < elements.size()-1; i++) {
//通过正则可以获取想要的内容
elements.get(i).getElementsMatchingOwnText(pattern).text();
//获得符合元素之间的文本
elements1.get(i).text();
//获得符合元素之间的超链接
elements1.get(i).getElementsByTag("a").attr("href");
}
第二种方式:commons-httpclient-3.0.1.jar、htmllexer.jar//相当于打开游览器
HttpClient httpClient = new HttpClient();
GetMethod getMethod = new GetMethod("链接地址");
//请求时长五秒
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());
try {
getMethod.addRequestHeader("Content-Type", "text/html; charset=UTF-8");
// execute HTTP GET request
int statusCode = httpClient.executeMethod(getMethod);
//判断状态,不是200,作相关处理
if (statusCode != HttpStatus.SC_OK) {
}
//字节数组
byte[] responseBody = getMethod.getResponseBody();
//转化为字符串及编码
String content = new String(responseBody, "UTF-8");
//内容作相关操作获取想要的元素及值
可以使用正则表达式
} finally {
// 釋放
getMethod.releaseConnection();
}