爬取全国任意省份天气数据详细步骤

本文分享了如何使用Python爬虫获取全国任意省份的天气数据,通过分析网址结构,发现网址中的经纬度参数决定了城市天气信息,从而实现通过获取各地区经纬度来爬取天气数据。详细步骤包括查找经纬度信息、构造网址并爬取数据。
摘要由CSDN通过智能技术生成

前几天河南天天下雨,在家憋得难受就尝试写一个爬取全国天气数据的爬虫,在此分享详细过程。


(图一)

  打开上图所标记的页面得到Windows官网的天气数据(图一)


(图二)

老样子,此处我们按下F12打开开发者模式(此处用的Edge浏览器演示)(图三),为了直观了解服务器对我们的请求是如何响应的,可以在搜索位置处随便输入一个城市(此处输入我老家漯河为例),输入城市后点击搜索,此时注意看开发者模式下,服务器发送的文件,我们的目标数据就在这些文件中。在打开的开发者模式栏中,慢慢寻找所需要的数据(比如城市,温度,风速,天气状况等,这些数据就是我们要爬取的数据)


(图三)

我们需要的数据其实在图三红框中的第一个文件中,可以点击它,查看它的具体内容(见图四)


(图四)在图四中用三种颜色箭头标明网页上的内容与右侧开发者模式下的文件内内容的对应关系

在这个实例中包含漯河市天气信息的网址是:https://api.msn.cn/weather/overview/user?......(该网址过长未全部显示)

于是就有一个问题,如何获得除漯河市以外的其他城市的天气信息呢?总不能一个一个输吧?

我们不妨再在搜索框中输入另一个城市,按照同样套路获得包含所输入的另外一个城市的天气信息的网址(此处用郑州作为另一个城市)。

我们可以试着比较包含漯河市天气信息的网址与包含郑州市天气信息的网址在结构上有什么区别,从而反推出Windows天气官网的天气信息呈现原理。

在图五中我们对这两个网址进行对比 


  • 11
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值