使用 Jsoup 爬虫解析 html 新闻的实例

转自：http://www.cnblogs.com/ydxlt/p/5030964.html

现在网络数据传输有三种常用的形式，xml，json 和 html，我们的客户端请求服务器，服务器通常给我们返回上面三种形式的数据。
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 
主要功能：
从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据；
可操作HTML元素、属性、文本；

官网下载最新版：http://jsoup.org/download

总结一下：
jsoup解析html的步骤：

1.得到Document对象：
2.通过发送Jsoup的get或者post请求返回Document对象
3.将html字符串转换成Document对象（通过Jsoup.parse()方法）：
4.使用Document.select()进行初步筛选数据
5.使用Element的一系列方法筛选出我们要的数据


注意：要对照页面源码解析，解析任何数据之前我们都得先知道要解析数据的结构，看着html页面的源码调用Document，Element等对象的相关方法怎么简单怎么解析。

下文 转自：http://blog.csdn.net/junbin_fan/article/details/24814407

一、目标主页

实例中进行解析的的目标主页是宁夏大学新闻网，在主方法中可以看到有三条新闻详情和三个新闻列表共6条URL，可以通过在主方法中切换不的url来对目标主页的内容进行解析。

二、JSoup的相关API可以参看官方的支持文档。

http://jsoup.org/apidocs/

三、源代码

package net;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * @name Jsoup爬虫解析新闻
 * @description 线程中根据不同的标记决定解析一条新闻还是新闻列表
 * @author 樊俊彬
 * @date 2014-4-29
 * 
 */
public class NewsJSoup implements Runnable {

	public Document document;
	public Elements elements;
	public String newsDetailUrl;
	public String newsListUrl;
	public int type;

	public NewsJSoup(String url, int type) {
		this.type = type;
		if (type == 1) {
			this.newsListUrl = url;
		} else {
			this.newsDetailUrl = url;
		}
		new Thread(this, "读取这条新闻详细线程").start();
	}

	public void run() {
		if (type == 1) {
			loadNewsList();
		} else {
			loadNewsDetail();
		}
	}

	/**
	 * 解析宁大综合新闻列表
	 */
	private void loadNewsList() {
		try {
			document = Jsoup.connect(newsListUrl).timeout(100000).get();
			// 新闻源码中的表格共有28个，均没有id或class等标记，所以只能以穷举的方式来搜索目标表格（width=640）
			for (int i = 0; i < 28; i++) {
				Element element = document.select("table").get(i);
				if (element.attr("width").toString().equals("640")) {
					System.out.println(i);
				}
			}
			// 目标表格width=240是源码中的第24个表格,加载它
			Element element = document.select("table").get(24);
			// <td width=500>是新闻的标题和url，<td width=80>是新闻的发表时间
			Elements elements = element.getElementsByAttributeValueContaining(
					"width", "500").select("a");
			for (Element ele : elements) {

				System.out.println("新闻标题：" + ele.attr("title"));
				System.out.println("对应的URL：" + ele.attr("href"));
			}

		} catch (IOException e) {
			// TODO Auto-generated catch block
			System.out.println("爬取失败");
			e.printStackTrace();
		}
	}

	/**
	 * 解析一条新闻的详细
	 */
	private void loadNewsDetail() {
		try {
			document = Jsoup.connect(newsDetailUrl).timeout(100000).get();
			// 新闻标题的源码和解析
			elements = document.getElementsByClass("TitleDisplay");
			System.out.println(elements.toString());
			System.out.println("\n" + "解析到的新闻标题：" + "\n"
					+ elements.select("strong").text().toString() + "\n");

			// 新闻发布信息的源码和解析
			elements = document.getElementsByClass("TitleDisplay2");
			System.out.println(elements.toString());
			System.out.println("\n" + "解析到的新闻发布信息：" + "\n"
					+ elements.select("td").get(0).text().toString() + "\n");

			// 新闻正文的源码和解析
			elements = document.getElementsByClass("ContentDisplay");
			System.out.println(elements.toString());
			System.out.println("\n" + "解析到的新闻正文：" + "\n"
					+ elements.select("p").toString() + "\n");

		} catch (IOException e) {
			// TODO Auto-generated catch block
			System.out.println("爬取失败");
			e.printStackTrace();
		}
	}

	public static void main(String[] args) {
		// 宁大主页新闻详情
		String newsDetailUrl_1 = "http://news.nxu.edu.cn/ndnews_content_disp.asp?xid=8532&cls=&scls=";
		String newsDetailUrl_2 = "http://news.nxu.edu.cn/ndnews_content_disp.asp?xid=8536&cls=&scls=";
		String newsDetailUrl_3 = "http://news.nxu.edu.cn/ndnews_content_disp.asp?xid=8360&cls=&scls=";
		
		// 宁大主页综合新闻列表
		String newsListUrl_1 = "http://news.nxu.edu.cn/ndnews_content_brows.asp?cls=2&scls=1";
		String newsListUrl_2 = "http://news.nxu.edu.cn/ndnews_content_brows.asp?cls=2&scls=1&layn=&pages=2";
		String newsListUrl_3 = "http://news.nxu.edu.cn/ndnews_content_brows.asp?cls=2&scls=1&layn=&pages=3";
		
		NewsJSoup jsSoupMain = new NewsJSoup(newsListUrl_1, 1);
	}

}