python爬取网页趋势图的底层数据信息——以历年的黄金价格为例

黑小慕

于 2024-05-01 07:01:05 发布

阅读量511

点赞数 4

分类专栏： python 文章标签： python 图片数据

本文链接：https://blog.csdn.net/m0_67790374/article/details/138360571

版权

python 专栏收录该内容

41 篇文章 10 订阅

订阅专栏

一、问题引入

在这里插入图片描述

黄金价格网址：https://china.gold.org/goldhub/data/gold-prices

问题引入：现有历年的黄金价格信息（如图所示），但呈现的方式是趋势图，并没有直接以表格的形式罗列出来，只有当鼠标悬停在趋势图上方才显示所指日期的黄金价格信息，本次python程序的目标是将历年的黄金价格信息爬取下来并绘图展示。

二、基本思路

在这里插入图片描述

右键点击“检查”，在Network菜单栏中找到Search搜索框，输入某天的黄金价格（这里以1981年1月2日的黄金价格为例，数据显示为29.09），当输入29.09却无法搜索到任何信息时，可能是数据精度的问题（趋势图显示的黄金价格已经是经过四舍五入处理后的了），这里改成搜索29.08即可找到趋势图的底层数据来源。

在这里插入图片描述

检索到数据后，再从Response跳转到Headers，找到趋势图底层数据的请求网址（Request URL），打开该网址后，显示结果如下图所示。

在这里插入图片描述

可以发现，“chartData”就是底层数据存储的地方，“USD”是按美元结算的黄金价格信息，“CNY”是按人民币结算的黄金价格信息，第一列是数字时间戳信息，第二列是黄金价格信息，值得注意的是：第一列数字时间戳信息需要转换为我们常见的日期格式，即“某年某月某日”。

三、python程序

import time
import requests
import pandas as pd
import matplotlib.pylab as plt

plt.rcParams['font.sans-serif'] = ['SimSun']
plt.rcParams['axes.unicode_minus'] = False

url = 'https://fsapi-china.gold.org/api/goldprice/v11/chart/price/usd,cny/grams'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'}
response = requests.get(url, headers=headers)
html = response.json()['chartData']['CNY'] # 提取按人民币结算的历年黄金价格信息
for sublist in html:
    sublist[0] = time.strftime('%Y-%m-%d', time.localtime(sublist[0] / 1000)) # 数字时间戳转换为日期格式

data = pd.DataFrame(html, columns=['Date', 'CNY']).dropna() # 删除空值
data.reset_index(drop=True, inplace=True) # 更新索引index
print(data)

fig, ax = plt.subplots(1, 1)
ax.plot(data['Date'], data['CNY'])
fig.autofmt_xdate(rotation=45) # 对x轴日期进行45度旋转
plt.gca().xaxis.set_major_locator(plt.MultipleLocator(20)) # 调整x轴日期显示间距，每隔20条数据显示一次日期
plt.show()

输出结果如下：
在这里插入图片描述

如果打算将x轴的日期显示格式从“某年某月某日”改成“某年某月”，只需要将下面代码进行更改即可。

修改前：

ax.plot(data['Date'], data['CNY'])

修改后：

ax.plot(pd.to_datetime(data['Date']).dt.to_period('M').astype(str),data['CNY'])

输出结果如下：
在这里插入图片描述

如果打算将x轴的日期显示间距调大，只需要将下面代码进行更改即可。

修改前：

plt.gca().xaxis.set_major_locator(plt.MultipleLocator(20))

修改后：

plt.gca().xaxis.set_major_locator(plt.MultipleLocator(30))

输出结果如下：
在这里插入图片描述

如果需要不同核算单位的历年黄金价格信息，可以将url换成以下这些网址。

# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/oz' # 盎司
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/grams' # 克
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/kg' # 千克
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tonnes' # 吨
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tael' # 两
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tola' # 拖拉