基于python的城市旅游数据采集分析系统

温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :) 

1. 项目简介

        本项目利用网络爬虫技术从某旅游网站爬取各城市的景点旅游数据，根据旅游网的数据综合分析每个城市的热度、热门小吃和景点周边住宿， 可以很方便的通过浏览器端找到自己所需要的信息，获取到当前的热门目的地，根据各城市景点的数据，周围小吃，住宿等信息，制定出适合自己的最佳旅游方案。

2. 功能组成

        基于python的城市旅游数据采集分析系统的主要功能包括：

3. 旅游数据采集

        旅游数据的采集主要包括热门城市基本信息、热门城市的景点信息、热门城市的美食信息、酒店信息等的抓取。以热门城市的景点信息抓取为例：

def get_top_jd(city_code):
    """抓取 Top 景点 """
    top_jd_url = "http://www.xxxx.cn/jd/{}/gonglve.html".format(city_code)
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Accept-Encoding': 'gzip, deflate, compress',
        'Accept-Language': 'en-us;q=0.5,en;q=0.3',
        'Cache-Control': 'max-age=0',
        'Connection': 'keep-alive',
        'Host': 'www.mafengwo.cn',
        'Cookie': 'Your cookies',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    }
    response = requests.get(top_jd_url, headers=headers)
    response.encoding = 'utf8'
    soup = BeautifulSoup(response.text, 'lxml')
    items = soup.select('div.item.clearfix')
    gaikuang = soup.find('span', id='mdd_poi_desc').text.strip()

    top_jds = []
    for item in items:
        top_jd = item.h3.a.text.strip()
        comment_count = item.h3.em.text.strip()
        intro = item.p.text.strip()
        image = item.img['src']
        top_jds.append({'景点名称': top_jd, '评论个数': comment_count, '简介': intro, '图片': image})
    return gaikuang, top_jds

        对全国所有省份的热门城市进行循环，采集其热门景点、小吃、住宿等信息： 

......
city_lvyou_info = []
for sheng in sheng_info:
    sheng = sheng.replace('\n', '')
    print('--> 抓取 {} 省的城市信息...'.format(sheng))
    city_info = sheng_info[sheng]
    for city in city_info:
        print('抓取 {} 市信息...'.format(city[0]))
        # Top 景点 http://www.xxxxxx.cn/jd/10065/gonglve.html
        city_code = city[1].split('/')[-1].split('.')[0]
        try:
            gaikuang, top_jds = get_top_jd(city_code)
        except:
            gaikuang, top_jds = '', '{}'
            print('空数据')
        time.sleep(1)
        # 城市的热门小吃 http://www.xxxxxx.cn/cy/10065/tese.html
        try:
            top_xiaochi = get_top_xiaochi(city_code)
        except:
            top_xiaochi = '{}'
            print('空数据')
        time.sleep(1)
        # 景点周边住宿，结合网上数据，分析出性价比（方案：实时调接口获取数据，列表即可，不用性价比）
        try:
            top_jiudian = get_top_jiudian(city[0], is_zhixiashi=int(sheng=='直辖市'))
        except:
            top_jiudian = '[]'
            print('空数据')
        time.sleep(1)
......

4. 基于python的城市旅游数据采集分析系统

4.1 系统注册登录

4.2 各省份热门城市分析

4.3 城市热门景点分析

4.4 热门小吃分析

5. 结论

        本项目利用网络爬虫技术从某旅游网站爬取各城市的景点旅游数据，根据旅游网的数据综合分析每个城市的热度、热门小吃和景点周边住宿， 可以很方便的通过浏览器端找到自己所需要的信息，获取到当前的热门目的地，根据各城市景点的数据，周围小吃，住宿等信息，制定出适合自己的最佳旅游方案。

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。技术交流、源码获取认准下方 CSDN 官方提供的学长 QQ 名片 :)

精彩专栏推荐订阅：

1. Python 毕设精品实战案例
2. 自然语言处理 NLP 精品实战案例
3. 计算机视觉 CV 精品实战案例