旅游网站大数据分析 - 数据抓取

目录

第1关：利用Jsoup抓取携程旅游网的数据

代码

第2关：解析并提取HTML 元素(一）

代码

第3关：解析并提取HTML 元素(二）

代码

第4关：使用Jsoup抓取携程旅游网全国城市信息

---

第1关：利用Jsoup抓取携程旅游网的数据

任务描述
本关任务：使用Jsoup获取携程旅游网的数据。

相关知识
现在我们目标是获取携程旅游网的数据，然后将获取到的数据清洗，清洗一些无意义的数据，最后在存入到Hadoop中，这样我们就完成了数据获取、数据清洗、数据存储。

现在我们要来一起完成第一步，数据获取，在我们知道一个网站地址的前提下，如何提取该网站的数据为我们所用呢？

需要一些工具，比如 Jsoup。

Jsoup 的使用
jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL地址、HTML文本内容。它提供了一套非常省力的API，可通过 DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

jsoup的主要功能如下：

从一个URL 件或字符串中解析 HTML；

使用 DOM 或 CSS 选择器来查找、取出数据；

可操作 HTML 元素、属性、文本；

jsoup 是基于 MIT 协议发布的，可放心使用于商业项目。

jsoup 的主要类层次结构如图所示：

代码

package step1;
import java.io.File;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
 
public class Task {
	/**
	 * @param filePath	文件路径：backups/www.ctrip.com.txt/
	 * @return
	 * @throws IOException
	 */
	public Document getHtml1(String filePath) throws IOException{
		/**********   Begin   **********/
        File file = new File(filePath);
		Document d = Jsoup.parse(file, "UTF-8", "/backups/www.ctrip.com.txt/");
		return d;
		/**********   End   **********/
	} 
 
	/**
	 * 
	 * @param filePath	文件路径：backups/hotels.ctrip.com_domestic-city-hotel.txt/
	 * @return
	 * @throws IOException
	 */
	public Document getHtml2(String filePath) throws IOException{
        /**********   Begin   **********/
        File fl = new File(filePath);
		Document dt = Jsoup.parse(fl, "UTF-8", "/backups/hotels.ctrip.com_domestic-city-hotel.txt/");
		return dt;
		/**********   End   **********/
	} 
}

第2关：解析并提取HTML 元素(一）

任务描述
本关任务：解析并提取HTML的元素

相关知识
这部分涉及一个HTML解析器最基本的功能，但jsoup使用一种有别于其他开源项目的方式——选择器，下面你将看到jsoup是如何用最简单的代码实现。

使用DOM方法来遍历一个文档
列出几个常用方法:

查找元素:
    getElementById(String id)
    getElementsByTag(String tag)
    getElementsByClass(String className)
    Graph: parent(), children(), child(int index)
元素数据: 
    attr(String key),text(),html()
使用说明：

Document doc = Jsoup.parse("http://www.example.com/");
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
     String linkHref=link.attr("href");
     String linkText=link.text();
}
使用CSS语法来查找元素
jsoup elements对象支持类似于CSS(或jquery)的选择器语法，