在eclipse通过爬虫获取指定地区美团酒店的酒店名字

简单介绍下流程,通过访问美团连接,得到相应的数据,对数据进行处理即可

以北京的美团酒店为例http://hotel.meituan.com/beijing

通过f12查看到酒店的名字绑定的class是poi-title-wrapper

所以我们可以直接通过jsoup选择节点

	@Test
	public void testName11() throws Exception {
		Document document = Jsoup.connect("http://hotel.meituan.com/beijing").get();
		Elements select = document.select(".poi-title-wrapper");
		for (Element element : select) {
			System.out.println(element.text());
		}
	}

运行后得到结果

1齐源宾馆(北京南站店)
27天连锁酒店(北京南站地铁站店)
3昌浩商务酒店(北京南站店) 舒适型
4布丁酒店(北京国贸潘家园地铁站店)
5泉谷酒店 高档型
6暖窝北漂青年公寓
7青年之家酒店
8易佰连锁酒店(交大东路店)
9齐鑫宾馆(北京南站店)
10旅居酒店(北京和平里店) 高档型
11九十九连锁宾馆
12北京西柚旅舍(国展店)
137天连锁酒店(北京新街口地铁站店)
14速8酒店(北京潘家园华威南路店)
15中工大厦 高档型
16布丁酒店(北京国贸永安里地铁站店)
17逸旅阳光快捷酒店
18华通国际青年旅舍(三里屯店)
19青年酒店(西四店)(原金榜缘酒店)
20广州大厦 高档型

我们现在爬第二页的酒店名 点击第二页发现网址没有发生跳转,判断使用的AJAX.因此我们需要把ajax中提交的网址提出去.

通过network我们发现提交的网址

Request URL:https://ihotel.meituan.com/hbsearch/HotelSearch?utm_medium=pc&version_name=999.9&cateId=20&attr_28=129&uuid=61E1B8AD1D61784182F0D300BC63428F3B0EA432DE4CAF30421A27E6D877DD10%401526390515608&cityId=1&offset=40&limit=20&startDay=20180515&endDay=20180515&q=&sort=defaults

仔细观看网址,发现使用了分页便签,点击网址进去是一个json字符串

现在我们的目标就变成了在json字符串中获取酒店的名字了

在下一篇日志中我讲怎么用eclipse通过json获取指定的数据