【Python网络爬虫与数据可视化实战案例】近15年的中国国内生产总值

最新推荐文章于 2024-02-21 18:44:36 发布
最新推荐文章于 2024-02-21 18:44:36 发布
阅读量8.1k 收藏 188
点赞数 11
分类专栏： Python网络爬虫 文章标签： python 数据可视化 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45554010/article/details/105736586
版权

需求描述

  打开东方财富网的中国国内数据总值数据页，进入如下页面。
在这里插入图片描述
  现在需要把页面上的国内生产总值数据表爬取下来，写入CSV文件以持久化存储。在这之后，将CSV文件内的数据做成折线图，实现数据可视化。
  在爬取数据的过程中需要注意：数据表在该网页中分3页显示，我们需要在Python程序中实现换页的操作。

需求分析

  任意选取数据表中的一行，单击鼠标右键检查元素（这里我使用的是Firefox浏览器，不同浏览器可能略有不同）进入查看器。我们得到了下图所示的HTML结构。
在这里插入图片描述
  这里我们很容易发现，数据表中每一列的信息都存储在table标签内的tr标签中。那么，我们只需要定位到这个标签，对该标签内的文本进行提取，即可获得数据表中的数据。
  下一个问题是如何实现换页操作。我们点击数据表下方的“下一页”，观察网址的变化。
在这里插入图片描述在这里插入图片描述
  网址只有“p=”后的数字发生了变化，其他的地方都没有改变。不难发现，“p=”后的数字所代表的就是当前的页数。

代码实现

1.数据爬取及持久化存储

  首先导入要用到的模块。

from bs4 import BeautifulSoup
import csv
import requests

  对网站发起请求，获取页面的数据。

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'}

for page in range(1, 4):
    url = 'http://data.eastmoney.com/cjsj/grossdomesticproduct.aspx?p=' + str(page)
    response = requests.get(url=url, headers=headers)
    page_text = response.text

  使用bs4对爬取到的内容进行筛选，留下有用的数据。

soup = BeautifulSoup(page_text, 'html.parser')
table = soup.find('table', id='tb')
tr_list = table.find_all('tr')
tr_list.pop(-1)
for i in range(2):
    tr_list.pop(0)

for tr in tr_list:
    info = tr.text.replace(' ', '').replace('\r', '').replace('\n', ' ').lstrip().rstrip()
    info_list = info.split()

  持久化存储，将数据写入CSV文件。
  首先写入标题行。

with open('中国国内生产总值.csv', 'w', newline='') as csv_out_file:
    head_list = ['季度', '国内生产总值-绝对值（亿元）', '国内生产总值-同比增长', '第一产业-绝对值（亿元）', '第一产业-同比增长',
            '第二产业-绝对值（亿元）', '第二产业-同比增长', '第三产业-绝对值（亿元）', '第三产业-同比增长']
    filewriter = csv.writer(csv_out_file)
    filewriter.writerow(head_list)

  写入其余的数据行。

with open...:
    filewriter.writerow(info_list)

  重构代码后，完整代码如下：

#!/usr/bin/env python3

from bs4 import BeautifulSoup
import csv
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'}

with open('中国国内生产总值.csv', 'w', newline='') as csv_out_file:
    head_list = ['季度', '国内生产总值-绝对值（亿元）', '国内生产总值-同比增长', '第一产业-绝对值（亿元）', '第一产业-同比增长',
            '第二产业-绝对值（亿元）', '第二产业-同比增长', '第三产业-绝对值（亿元）', '第三产业-同比增长']
    filewriter = csv.writer(csv_out_file)
    filewriter.writerow(head_list)

    for page in range(1, 4):
        url = 'http://data.eastmoney.com/cjsj/grossdomesticproduct.aspx?p=' + str(page)
        response = requests.get(url=url, headers=headers)
        page_text = response.text

        soup = BeautifulSoup(page_text, 'html.parser')
        table = soup.find('table', id='tb')
        tr_list = table.find_all('tr')
        tr_list.pop(-1)
        for i in range(2):
            tr_list.pop(0)

        for tr in tr_list:
            info = tr.text.replace(' ', '').replace('\r', '').replace('\n', ' ').lstrip().rstrip()
            info_list = info.split()
            filewriter.writerow(info_list)
2.数据可视化

  这一部分比较简单。首先导入需要的模块。

import csv
from pyecharts import Line

  读取CSV文件中的数据，并对其进行处理。

Quarter = []
GDP = []
Primary_industry = []
Secondary_industry = []
Tertiary_industry = []

with open('中国国内生产总值.csv', 'r', newline='') as csv_in_file:
    filereader = csv.reader(csv_in_file)
    head = next(filereader)
    for row_list in filereader:
        Quarter.append(row_list[0])
        gdp = round(eval(row_list[2][:-1]) / 100, 3)
        GDP.append(gdp)
        pri = round(eval(row_list[4][:-1]) / 100, 3)
        Primary_industry.append(pri)
        sec = round(eval(row_list[6][:-1]) / 100, 3)
        Secondary_industry.append(sec)
        ter = round(eval(row_list[8][:-1]) / 100, 3)
        Tertiary_industry.append(ter)

  接下来是需要注意的一点。网站上的数据是根据时间排序的，2020年的数据在最前面，2006年的数据在最后面。即网站上的数据是根据时间“由近及远”排序的。在这里我们需要将处理好的数据列表进行逆序处理。

Quarter = Quarter[::-1]
GDP = GDP[::-1]
Primary_industry = Primary_industry[::-1]
Secondary_industry = Secondary_industry[::-1]
Tertiary_industry = Tertiary_industry[::-1]

  最后一步是数据可视化，利用pyecharts绘制折线图。

line = Line('中国国内生产总值同比增长率', '时间：2006年第1季度-2020年第1季度  数据来源：东方财富网', width=1280, height=720)
line.add('国内生产总值', Quarter, GDP, is_smooth=False, mark_point=['max'], mark_line=['average'], legend_pos='right')
line.add('第一产业', Quarter, Primary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.add('第二产业', Quarter, Secondary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.add('第三产业', Quarter, Tertiary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.render('中国国内生产总值.html')

  完整代码如下：

#!/usr/bin/env python3

import csv
from pyecharts import Line

Quarter = []
GDP = []
Primary_industry = []
Secondary_industry = []
Tertiary_industry = []

with open('中国国内生产总值.csv', 'r', newline='') as csv_in_file:
    filereader = csv.reader(csv_in_file)
    head = next(filereader)
    for row_list in filereader:
        Quarter.append(row_list[0])
        gdp = round(eval(row_list[2][:-1]) / 100, 3)
        GDP.append(gdp)
        pri = round(eval(row_list[4][:-1]) / 100, 3)
        Primary_industry.append(pri)
        sec = round(eval(row_list[6][:-1]) / 100, 3)
        Secondary_industry.append(sec)
        ter = round(eval(row_list[8][:-1]) / 100, 3)
        Tertiary_industry.append(ter)

Quarter = Quarter[::-1]
GDP = GDP[::-1]
Primary_industry = Primary_industry[::-1]
Secondary_industry = Secondary_industry[::-1]
Tertiary_industry = Tertiary_industry[::-1]

line = Line('中国国内生产总值同比增长率', '时间：2006年第1季度-2020年第1季度  数据来源：东方财富网', width=1280, height=720)
line.add('国内生产总值', Quarter, GDP, is_smooth=False, mark_point=['max'], mark_line=['average'], legend_pos='right')
line.add('第一产业', Quarter, Primary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.add('第二产业', Quarter, Secondary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.add('第三产业', Quarter, Tertiary_industry, is_smooth=False, mark_point=['max'], mark_line=['average'],
         legend_pos='right')
line.render('中国国内生产总值.html')

结果展示

  保存有近15年中国GDP数据的CSV文件如下图所示：
在这里插入图片描述
  绘制的折线图如下图所示（注：国内生产总值、第二产业、第三产业的平均值恰好都为0.09，故平均值线重合）：
在这里插入图片描述

CCH²¹
关注
  • 11
    点赞
  • 踩
  • 188
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
基于python的爬取历年世界各国GDP排行榜并做简单的可视化
03-06
爬取历年世界各国GDP排行榜并做简单的可视化
用Python爬取中国各省GDP数据
司马懿的西山居
05-17 3040
在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知
04-05
import csv import requests import re import time def main(page): url = f'https://tieba.baidu.com/p/7882177660?pn={page}' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36' } resp = requests.get(url,headers=headers) html = resp.text # 评论内容 comments = re.findall('style="display:;"> (.*?)</div>',html) # 评论用户 users = re.findall('class="p_author_nam
python数据分析课程笔记 | 第四章 Matplotlib数据可视化（下）
SimbaG的博客
05-25 464
目录：4.5 完善统计图形（1）图例和画布使用（2）图形添加内容4.6 图像样式高级操作（1）绘制双坐标轴（2）多个图形合并4.7 高级绘图（1）Seaborn基础（2）绘制常用统计图形（3）其他参数和图形4.8 精美制图（1）plotly基础（2）常见图形绘制（3）图形设置 4.5 完善统计图形 （1）图例和画布使用 图例中legend中loc中的位置和数字关系的使用： best：0 upper right：1 upper left：2 lower left：3 lower right：4 right
Python爬虫案例解析：五个实用案例及代码示例（学习爬虫看这一篇文章就够了）
m0_74942241的博客
10-25 6609
导言： Python爬虫是一种强大的工具，可以帮助我们从网页中抓取数据，并进行各种处理和分析。在本篇博客中，我们将介绍五个实用的Python爬虫案例，并提供相应的代码示例和解析。通过这些案例，读者可以了解如何应用Python爬虫来解决不同的数据获取和处理问题，从而进一步提升爬虫技能。案例一：爬取天气数据代码解析： 在这个案例中，我们使用requests库发送HTTP请求获取天气数据，并将数据保存到CSV文件中。首先，我们发送GET请求获取天气数据的JSON响应。
python语法-数据可视化（全球GDP动态柱状图开发）
qq_45833373的博客
06-11 1125
python数据可视化（全球GDP动态柱状图开发） 开发工具：pycharm、pyecharts模块
python爬虫 爬取国家数据网站10各省份GDP
CHENGHAOBIN1的博客
12-26 4296
简单代码爬取数据
2022年全国各省地级市GDP均值(除港澳台及直辖市)数据可视化实战
最新发布
qq_51000553的博客
02-21 688
全国各省GDP是衡量一个省份发展的重要指标，使用可视化技术，能直观反映全国各省GDP，进而反映各省经济发展水平。本文使用requests(python)+pandas(python)+pyspark(spark)+hdfs(hadoop)+metastore(hive)+pyhive(python)+pyecharts(python)技术栈，展示数据获取、数据清洗、上传平台、下载数据、可视化输出的完整数据实战流程。
数据可视化——柱形图
weixin_54892590的博客
03-30 220
bar.add_yaxis(“GDP亿”,y_data,label_opts=LabelOpts(position=“right”))year=int(i.split(“,”)[0]) #年份，使用split进行逗号分割，0号元素代表年份，使用int转换。data_a[year].append([country,gdp]) #如果列表中存在年份year则追加他的国家和gdp。gdp=float(i.split(“,”)[2]) #GDP，利用float转化整理科学计数法的数值。
工作中一个简单python数据处理-统计csv文件并画柱状图
MyNuTh的博客
10-16 3775
工作中一个简单python数据处理 工作中需要parsing一些短信数据，会有接口直接将数据导入到csv文件，但是报告时需要统计csv文件中数据频率，所以写了一个python脚本做一些简单处理。 流程： 1.读取相应文件夹及相应csv文件 2.取出csv文件相应列进行统计 3.使用pyplot绘制柱状图 import os import csv import matplotlib.pyplot as plt data_path = 'D:\csv\\' file_list = os.listdir(da
【Python网络爬虫与数据可视化实战案例】未来15天气温走势图
01-20
  可以看到，这里是有未来15天的天气和气温状况的。我们要做的就是把每天的最高和最低气温爬取下来，并做成折线图的形式。 需求分析   任意选取一天的气温，单击鼠标右键检查元素（这里我使用的是Firefox浏览器...
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip
11-17
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip已获导师指导并通过的97分的高分大作业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于python...
基于python网络爬虫的租房数据采集分析与可视化项目源码.zip
11-17
基于python网络爬虫的租房数据采集分析与可视化项目源码.zip已获导师指导并通过的97分的高分大作业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于python网络爬虫的租房...
Python爬虫与数据可视化
02-24
这里先不讲，后面后面会说到，接下来就需要储存信息，这里使用Excel，虽然比较麻烦，不过胜在清晰直观爬取代码如下，这里就能利用双层循环来实现换页爬取与换行输出我这里为了获得大量数据所以爬取了1
python爬虫数据可视化分析
01-06
Python爬虫数据可视化分析大作业，python爬取猫眼评论数据，并做可视化分析。 python爬虫数据可视化分析大作业 python爬虫，并将数据进行可视化分析，数据可视化包含饼图、柱状图、漏斗图、词云、另附源代码和报告书...
【Python网络爬虫笔记】信息标记与提取方法
CCH²¹的博客
03-25 358
学习资源：中国大学MOOC Python网络爬虫与信息提取 北京理工大学计算机学院 嵩天 信息标记的三种形式   在学习信息标记的三种形式之前，我们有必要了解一下信息标记的作用。   1.标记后的信息可形成信息组织结构，增加了信息维度。   2.标记的结构与信息一样具有重要价值。   3.标记后的信息可用于通信、存储或展示。   4.标记后的信息更利于程序理解和运用。   信息标记的三种形式分别...
【Python网络爬虫笔记】requests模块基础
CCH²¹的博客
03-23 263
学习资源：中国大学MOOC Python网络爬虫与信息提取 北京理工大学计算机学院 嵩天 安装requests模块   我使用的是Anaconda 3，其中自带了requests模块供我们使用。如果没有requests模块的话，只需要以管理员身份打开cmd，输入命令pip install requests即可。 requests模块的7个主要方法 方法 说明 requests.r...
爬取数据结构网页数据时具体数据爬取过程
05-28
爬取数据结构网页数据的过程可以分为以下几步： 1. 分析目标网页的结构和内容，确定需要爬取的数据类型和位置。 2. 使用 Python 中的 requests 库向目标网页发送请求，获取网页源代码。 3. 使用 BeautifulSoup 库或其他 HTML 解析库解析网页源代码，提取目标数据。 4. 对爬取的数据进行清洗和处理，去除不需要的字符和格式。 5. 将清洗过的数据保存到本地文件或数据库中。 具体来说，可以按照以下步骤进行： 1. 导入 requests 和 BeautifulSoup 库： ```python import requests from bs4 import BeautifulSoup ``` 2. 发送请求获取网页源代码： ```python url = 'http://www.example.com' response = requests.get(url) html = response.text ``` 3. 使用 BeautifulSoup 解析网页源代码并提取目标数据： ```python soup = BeautifulSoup(html, 'html.parser') data = soup.select('div.data')[0].get_text() ``` 4. 对爬取的数据进行清洗和处理： ```python cleaned_data = data.strip().replace('\n', '') ``` 5. 将清洗过的数据保存到文件或数据库中： ```python with open('data.txt', 'w') as f: f.write(cleaned_data) ``` 需要注意的是，在爬取数据时需要遵守网站的爬虫规则，不要频繁访问同一个页面，否则可能会被封禁 IP 地址。同时，爬取的数据也需要遵守相关法律法规，不得用于非法用途。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值