可视化 | 用Python分析近5000个旅游景点，告诉你假期应该去哪玩

大家好，我是欧K。

五一小长假即将来临，今年福利（五天假期）时间充裕，这么长的假期，你想怎样玩？

这样玩？

还是这样玩？

本期我们通过去哪儿网各省门票的售卖情况，简单分析一下全国比较热门的景点分布和国民出游情况，看看哪些景点比较受欢迎，希望对小伙伴们有所帮助。

涉及到的内容：
request+json–网页数据爬取
openpyxl–保存数据至Excel
pandas–表格数据处理
pyechars–数据可视化

1. 网页分析

打开去哪儿网门票页：https://piao.qunar.com/，以北京为例：

可以看到推荐的一些景点信息。F12打开浏览器调试窗口，查找加载数据的url，点击每一页观察网址变化：

网址：

'https://piao.qunar.com/ticket/list.json?keyword=%E5%8C%97%E4%BA%AC&region=&from=mpl_search_suggest&page=1'
'https://piao.qunar.com/ticket/list.json?keyword=%E5%8C%97%E4%BA%AC&region=&from=mpl_search_suggest&page=2'
'https://piao.qunar.com/ticket/list.json?keyword=%E5%8C%97%E4%BA%AC&region=&from=mpl_search_suggest&page=3'
'https://piao.qunar.com/ticket/list.json?keyword=%E5%8C%97%E4%BA%AC&region=&from=mpl_search_suggest&page=4'
'https://piao.qunar.com/ticket/list.json?keyword=%E5%8C%97%E4%BA%AC&region=&from=mpl_search_suggest&page=5'

北京=%E5%8C%97%E4%BA%AC，可以看到，每页网址只有page的值在发生变化，keyword参数可以直接写中文。
看一下接口返回信息：

nice！返回的是json字串，简直不要太好!

2. 爬取数据

准备工作，导入以下模块：

import os
import time
import json
import random
import requests
from fake_useragent import UserAgent
from openpyxl import Workbook, load_workbook

如果模块缺失，直接pip安装即可。

2.1 34个行政区

cities = ['广东', '北京', '上海', '天津', '重庆', '云南', '黑龙江', '内蒙古', '吉林',
          '宁夏', '安徽', '山东', '山西', '四川', '广西', '新疆', '江苏', '江西',
          '河北', '河南', '浙江', '海南', '湖北', '湖南', '澳门', '甘肃',
          '福建', '西藏', '贵州', '辽宁', '陕西', '青海', '香港', '台湾']

2.2 爬取每个行政区数据

代码：

def get_city_scenic(city, page):
    ua = UserAgent(verify_ssl=False)
    headers = {'User-Agent': ua.random}
    url = f'https://piao.qunar.com/ticket/list.json?keyword={city}&region=&from=mpl_search_suggest&sort=pp&page={page}'
    result = requests.get(url, headers=headers, timeout=10)
    result.raise_for_status()
    return  get_scenic_info(city, result.text)

这里用到了f-string格式构造url，具体用法可参考下面这篇文章(点击跳转)：
技巧 | 5000字超全解析Python三种格式化输出方式【% / format / f-string】

2.3 爬取每一页数据

代码：

def get_scenic_info(city, response):
    response_info = json.loads(response)
    sight_list = response_info['data']['sightList']
    one_city_scenic = []
    for sight in sight_list:
        scenic = []
        name = sight['sightName'] # 景点名称
        star = sight.get('star', None) # 星级
        score = sight.get('score', 0) # 评分
        price = sight.get('qunarPrice', 0) # 价格
        sale = sight.get('saleCount', 0) # 销量
        districts = sight.get('districts', None) # 省，市，区
        point = sight.get('point', None) # 坐标
        intro = sight.get('intro', None) # 简介
        free = sight.get('free', True) # 是否免费
        address = sight.get('address', None) # 具体地址
        scenic.append(city)
        scenic.append(name)
        scenic.append(star)
        scenic.append(score)
        scenic.append(price)
        scenic.append(sale)
        scenic.append(districts)
        scenic.append(point)
        scenic.append(intro)
        scenic.append(free)
        scenic.append(address)
        one_city_scenic.append(scenic)
    return one_city_scenic

大家可以根据自己的需要爬取部分字段。

2.4 循环爬取每个行政区每页数据

代码：

def get_city_info(cities, pages):
    for city in cities:
        one_city_info = []
        for page in range(1, pages+1):
            try:
                print(f'正在爬取-{city}(省/市), 第{page}页景点数据...')
                time.sleep(random.uniform(0.8,1.5))
                one_page_info = get_city_scenic(city, page)
            except:
                continue
            if one_page_info:
                one_city_info += one_page_info

输出部分信息，这样便于查看当前进度：

2.5 保存数据

这里我们使用openpyxl将数据保存到Excel中，大家也可以尝试保存其他文件或者数据库中：

def insert2excel(filepath,allinfo):
    try:
        if not os.path.exists(filepath):
            tableTitle = ['城市','名称','星级','评分','价格','销量','省/市/区','坐标','简介','是否免费','具体地址']
            wb = Workbook()
            ws = wb.active
            ws.title = 'sheet1'
            ws.append(tableTitle)
            wb.save(filepath)
            time.sleep(3)
        wb = load_workbook(filepath)
        ws = wb.active
        ws.title = 'sheet1'
        for info in allinfo:
            ws.append(info)
        wb.save(filepath)
        return True
    except:
        return False

结果：

3. 数据可视化

3.1 读取数据

导入以下模块：

import os
import pandas as pd
from pyecharts.charts import Bar
from pyecharts.charts import Map
from pyecharts import options as opts

用pandas模块遍历文件夹读取数据：

# 遍历scenic文件夹中的文件
def get_datas():
    df_allinfo = pd.DataFrame()
    for root, dirs, files in os.walk('./scenic'):
        for filename in files:
            try:
                df = pd.read_excel(f'./scenic/{filename}')
                df_allinfo = df_allinfo.append(df, ignore_index=True)
            except:
                continue
    # 去重
    df_allinfo.drop_duplicates(subset=['名称'], keep='first', inplace=True)
    return df_allinfo

3.2 热门景点数据图

以门票销量前20为例：

def get_sales_bar(data):
    sort_info = data.sort_values(by='销量', ascending=True)
    c = (
        Bar()
        .add_xaxis(list(sort_info['名称'])[-20:])
        .add_yaxis('热门景点销量', sort_info['销量'].values.tolist()[-20:])
        .reversal_axis()
        .set_global_opts(
            title_opts=opts.TitleOpts(title='热门景点销量数据'),
            yaxis_opts=opts.AxisOpts(name='景点名称'),
            xaxis_opts=opts.AxisOpts(name='销量'),
            )
        .set_series_opts(label_opts=opts.LabelOpts(position="right"))
        .render('1-热门景点数据.html')
        )

效果：

3.3 假期出行数据地图分布图

代码：

def get_sales_geo(data):
    df = data[['城市','销量']]
    df_counts = df.groupby('城市').sum()
    c = (
        Map()
        .add('假期出行分布', [list(z) for z in zip(df_counts.index.values.tolist(), df_counts.values.tolist())], 'china')
        .set_global_opts(
        title_opts=opts.TitleOpts(title='假期出行数据地图分布'),
        visualmap_opts=opts.VisualMapOpts(max_=100000, is_piecewise=True),
        )
        .render('2-假期出行数据地图分布.html')
    )

效果：

可以看到北京、上海、江苏、广东、四川、陕西等地出行人数相对较多。

3.4 各省市4A-5A景区数量图

代码：

def get_level_counts(data):
    df = data[data['星级'].isin(['4A', '5A'])]
    df_counts = df.groupby('城市').count()['星级']
    c = (
        Bar()
            .add_xaxis(df_counts.index.values.tolist())
            .add_yaxis('4A-5A景区数量', df_counts.values.tolist())
            .set_global_opts(
            title_opts=opts.TitleOpts(title='各省市4A-5A景区数量'),
            datazoom_opts=[opts.DataZoomOpts(), opts.DataZoomOpts(type_='inside')],
        )
        .render('3-各省市4A-5A景区数量.html')
    )

效果：

3.5 4A-5A景区数据地图分布

代码：

def get_level_geo(data):
    df = data[data['星级'].isin(['4A', '5A'])]
    df_counts = df.groupby('城市').count()['星级']
    c = (
        Map()
        .add('4A-5A景区分布', [list(z) for z in zip(df_counts.index.values.tolist(), df_counts.values.tolist())], 'china')
        .set_global_opts(
        title_opts=opts.TitleOpts(title='地图数据分布'),
        visualmap_opts=opts.VisualMapOpts(max_=50, is_piecewise=True),
        )
        .render('4-4A-5A景区数据地图分布.html')
    )

效果：

完。

---

以上就是本期为大家整理的全部内容了，赶快练习起来吧，原创不易，喜欢的朋友可以点赞、收藏也可以分享让更多人知道哦

推荐阅读

基础 | Python面向对象一文详解
基础 | Python函数一文详解
技巧 | 20个Pycharm最实用最高效的快捷键(动态展示)
技巧 | Python制作朋友圈炫酷九宫格图片
爬虫 | Python送你王者荣耀官网全套皮肤
爬虫 | 一键下载N部小说，你要的免费都在这里
可视化 | Python制作最炫3D可视化地图
可视化 | 动起来的中国大学排名，看看你的母校在哪里
爬虫 | Python爬取豆瓣电影Top250 + 数据可视化

微信公众号 “Python当打之年” ，每天都有python编程技巧推送，希望大家可以喜欢