python爬虫爬取国家数据网站10各省份GDP

最新推荐文章于 2024-04-08 15:54:31 发布

风沙客

最新推荐文章于 2024-04-08 15:54:31 发布

阅读量4.6k

点赞数 5

分类专栏：爬虫课程设计文章标签： python

本文链接：https://blog.csdn.net/CHENGHAOBIN1/article/details/122156261

版权

该博客主要展示了如何使用Python爬虫从国家数据网站获取2011年至2020年各省份GDP数据，并进行数据整理与可视化。通过`requests`、`pandas`和`matplotlib`等库，实现了数据爬取、存储到Excel以及绘制柱状图展示。代码中包含了错误处理和时间戳功能，确保了爬取的稳定性和效率。

摘要由CSDN通过智能技术生成

import requests
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import warnings
import json
import time
import numpy as np


def main():
    baseurl = "https://data.stats.gov.cn/easyquery.htm?cn=E0103"
    warnings.filterwarnings('ignore')
    data_list, name_list = get_data(baseurl)
    df = get_list(data_list, name_list)
    draw(df)


def get_data(baseurl):  #解析爬取的网站数据
    data_list = []
    name_list = []
    js = ask_url(baseurl)
    for value in js['returndata']['datanodes']:
        data_list.append(value['data']['strdata'])
    list_0 = js['returndata']['wdnodes'][1]['nodes']
    for i in range(len(list_0)):
        name_list.append(list_0[i]['cname'])
    return data_list, name_list


def get_list(data_list, name_list): #将解析后的数据储存在xlsx文件里
    eval_list=[]
    for i in data_list:
        eval_list.append(float(i))
    array_data &#