爬取特定城市的天气数据（2345）

_YG_

已于 2023-01-14 15:44:35 修改

阅读量1.6k

点赞数 3

于 2023-01-14 15:27:49 首次发布

本文链接：https://blog.csdn.net/qq_40932165/article/details/128685550

版权

本文介绍了如何爬取2345天气网站上的特定城市历史天气数据，通过查找网页中Fetch/XHR请求的JSON数据，解析并保存为CSV文件。使用了响应的json处理和XPath解析，建议在大量数据处理时直接写入，避免构建DataFrame的资源消耗。还提出了优化方案，如构建交互系统以输入城市和时间，实现数据可视化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

获取特定城市的历史天气数据，并保存为csv文件方便处理。（2345天气网）

步骤

寻找需要的数据在哪：

发现网页有历史天气一栏，直接点击之后发现可以进行爬取，可以采用selenium自动化测试框架进行爬取，也可以找到network里面的数据。本次采用寻找json数据的方法。

找到Fetch/XHR一栏，发现有一个前缀是GetHistory的，点击preview就是他的数据，点击headers就可以得到数据交互的url。

其中几个是可以替换的，分别是id还有年份还有月份，替换之后就可以得到想要的数据。

 url = f'https://tianqi.2345.com/Pc/GetHistory' \
                                      f'?areaInfo%5BareaId%5D={city_dict[city]}' \
                                      f'&areaInfo%5BareaType%5D&