python天气查询系统有什么知识点_Python爬虫系列:使用selenium+Edge查询指定城市天气情况...

本文介绍了一种使用selenium和Edge浏览器驱动,动态查询openweathermap.org网站天气的方法。由于网站数据由JavaScript动态加载,直接爬取无效,作者通过模拟浏览器行为获取渲染后的页面数据,实现了Python天气查询系统。文章还分享了获取API key的注册过程及遇到的验证问题,以及相关Python代码示例。
摘要由CSDN通过智能技术生成

话说,国外有个网站http://openweathermap.org/可以免费查询指定城市的当前天气情况:

那是不是可以写个爬虫程序,自动调用网站的功能来实现天气查询呢?毕竟在网页上已经清清楚楚地显示了这些数据。按惯例,查看源码,却发现啥也木有。

再仔细检查,发现这个网站是使用JavaScript动态获取并显示天气数据的:

继续查找和分析,原来数据都是在这里的。

看起来好像很麻烦的样子,还是换个思路吧,等有时间再慢慢分析如何提取这样的数据。回到网站首页,发现该网站还提供了API接口,可以直接调用并以JSON格式返回指定城市的天气数据,但是需要首先拥有一个API key才行:

如何获取这个API key呢,答案是注册一个账号:

然而,注册账号时会调用google的验证服务,除非采取特殊手段,否则不会成功,原因不解释。

两条路都不太顺畅啊,还是再换个思路吧。按道理讲,只要是在网页上显示出来的数据,理论上都应该是可以提取出来的。如果能够模拟浏览器的渲染过程,得到渲染后的前端代码,应该就可以了。

那么怎么模拟呢?让我们拿出一个大杀器,selenium,通过这个扩展库可以驱动几个主流浏览器并调用其功能,这里我们选择使用Edge。

首先,查看一下本地计算机Windows操作系统的内部版本号,以我的Win10为例,步骤为:依次单击开始==>设置==>系统==>关于,找到下图中的操作系统内部版本号:

然后打开网址https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/,下载合适版本的驱动,并放到Python安装目录下:

接下来,来到命令提示符环境,使用pip安装扩展库selenium:

最后编写如下Python代码,查询指定城市的天气情况:

上面代码中的正则表达式是根据driver.page_cource的内容编写的,可以自行分析并逐步尝试,代码运行结果如下(运行过程会稍微慢一点):

和网页上的数据对比一下:

内容完全一致。当然,如果使用更整洁的格式查看天气数据,可以使用正则表达式从程序结果中进行二次提取,不再赘述。

欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:26931708

Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:288410967

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值