Python爬取旅游城市,五一大家最爱去哪玩?

本文通过Python爬取去哪儿网数据,分析了五一假期最受欢迎的旅游城市和景区。利用BeautifulSoup解析网页,获取了13个热门城市的前4页景区信息,结果显示上海迪士尼乐园最为火爆。
摘要由CSDN通过智能技术生成

今年五一放了四天假,很多人不再只是选择周边游,因为时间充裕,选择了稍微远一点的景区,甚至出国游。各个景点成了人山人海,拥挤的人群,甚至去卫生间都要排队半天,那一刻我突然有点理解灭霸的行为了。

今天,通过分析去哪儿网部分城市门票售卖情况,简单的分析一下哪些景点比较受欢迎。等下次假期可以做个参考。

用到的Python模块

BeautifulSouprequestspymongopylab

方法

通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京  ,获取北京地区热门景区信息,再通过BeautifulSoup去分析提取出我们需要的信息。

这里为了偷懒只爬取了前4页的景点信息,每页有15个景点。因为去哪儿并没有什么反爬措施,所以直接请求就可以了。

这里只是随机选择了13个热门城市:北京, 上海, 成都, 三亚, 广州, 重庆, 深圳, 西安, 杭州, 厦门, 武汉, 大连, 苏州。

并将爬取的数据存到了MongoDB数据库 。

 

爬虫部分完整代码如下

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

import requests

from bs4 import BeautifulSoup

from pymongo import MongoClient

  

class QuNaEr():

    def __init__(self, keyword, page=1):

        self.keyword = keyword

        self.page = page

  

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
可以使用Python中的requests和BeautifulSoup库来去哪网站的旅游景点攻略。 首先,需要使用requests库来发送HTTP请求并获HTML响应。例如,使用以下代码获去哪网站上某个城市的景点攻略页面的HTML代码: ```python import requests url = 'https://travel.qunar.com/p-cs299878-%s-jingdian-1-2/' % city_code headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) html = response.text ``` 其中,city_code是城市的编码,可以在去哪网站上找到。headers是HTTP请求头,用于模拟浏览器访问。使用requests.get方法发送GET请求,并将返回的响应文本保存在html变量中。 接下来,需要使用BeautifulSoup库来解析HTML代码,提所需的信息。例如,使用以下代码提景点名称和评分: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') spots = soup.find_all('div', class_='tit') for spot in spots: name = spot.find('a').text score = spot.find('span', class_='score').text print(name, score) ``` 其中,使用BeautifulSoup将HTML代码解析成BeautifulSoup对象,并使用find_all方法查找所有class属性为tit的div元素。然后,遍历每个景点元素,使用find方法查找名称和评分元素,并将其文本内容打印出来。 综上所述,使用Python去哪网站的旅游景点攻略,需要先发送HTTP请求获HTML响应,然后使用BeautifulSoup解析HTML代码提所需信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值