爬取携程页面酒店信息并且导入到HDFS

最新推荐文章于 2024-06-28 16:12:59 发布

Going_sky

最新推荐文章于 2024-06-28 16:12:59 发布

阅读量1.6k

点赞数 1

分类专栏：案例文章标签：爬取数据

本文链接：https://blog.csdn.net/qq_38334410/article/details/79406046

版权

本文介绍如何爬取携程网站上的酒店页面，获取详细的酒店信息，并将这些数据导入到Hadoop分布式文件系统（HDFS）中。

摘要由CSDN通过智能技术生成

进入获取酒店的页面
获取URL:
String url= “http://hotels.ctrip.com/domestic/showhotellist.aspx?utm_medium=&utm_campaign=&utm_source=&isctrip=&allianceid=13963&sid=457771&ouid=000401app-&txtcity=%c9%cf%ba%a3&city=2&starttime=2017-12-06&deptime=2017-12-08&begprice=&endprice=&rooms=&hotelname=&star=&keyword=&locationid=&zoneid= “;

这里写图片描述

package com.itstar.util;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.itstar.hadoop.HdfsUtil;

/**
 * 大数据文件批量采集下载的工具类
 * @author arry 
 * @version v1.0
 * 
 */
public class DataDownUtil {
   

    /**
     *  根据页面的网址和网页的编码集来获取网页的源代码