Python实现采集热门城市的景点数据,并制作简单的数据可视化

本文介绍了使用Python进行数据采集,通过requests和parsel模块抓取旅游景点信息,并利用pandas和pyecharts进行数据分析和可视化,包括景点价格、评分和月销量的Top20等。
摘要由CSDN通过智能技术生成

前言

上篇文章给大家分享了,Python旅游景点的详细数据

现在来分享各个城市的景点数据,并来做一个数据可视化图

一、模块使用:

爬虫部分:

  • requests
  • parsel
  • csv

数据分析部分:

  • pandas
  • pyecharts

二、开发环境:

  • python 3.6
  • pycharm

三、流程思路:

  1. 确定目标需求
    python采集旅游景点数据 / 去哪儿~

  2. 发送请求

  3. 获取数据

  4. 解析数据

  5. 保存数据

四、代码展示

完整代码点击文末名片领取或者看代码中 +v
采集数据

导入模块

import requests
import parsel 
import csv 
import time 

写入表格

f = open('张家界景点.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['景区', '星级', '地区', '热度', '销量', '地址',
                              '价格', '简介', '详情页'])
csv_writer.writeheader()

多页采集

for page in range(1, 12):
    print(f'===============================正在爬取第{
   page}页数据内容=======================================')
    time.sleep(2)

请求链接

    url = f'https://*****.com/ticket/list_%E5%BC%A0%E5%AE%B6%E7%95%8C.html?from=mps_search_suggest_h&keyword=%E5%BC%A0%E5%AE%B6%E7%95%8C&page={page}'

请求头:把python代码伪装成浏览器 给服务器发送请求

    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)

获取网页文本数据 response.text

    # print(response.text)

解析数据

css选择器 根据标签提取数据内容

第一次提取 所以景区标签内容 返回的页是一个对象 列表

id选择器 直接可以使用# 开头

  • 4
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值