这周看到了两个地震新闻,一个是广东广州增城的,另一个是台湾的,因为本人身在广州,而且对于广佛这边的来说地震其实挺突然的对于我们来说,基本在广佛这边很少出现地震,所以我看到广州增城地震也挺吃惊,然后就萌生了爬取地震数据的想法,想了解一下地震高发地。
先来看一个新闻,来自新浪微博官方用户:中国地震台网速报的微博内容,在七夕前一天8月6号10点49分广东广州增城发生2.7级地震,震源深度3千米。
Python资源共享群:484031800
看到这新闻后,我在想的是,哪里可以实时知道地震情况及其相关具体数据呢?哪里可以知道过往的地震历史数据呢?打开谷歌,搜索发现了一个网站:中国地震台网 http://news.ceic.ac.cn/index.html ,这里可以显示查看最新的全球地震信息,还支持地图显示地震信息,历史查询等。
毫无疑问,这句是我们需要的网站,那么我们接下来就来实现最近一年全球所有的地震信息爬取。
网站分析
首先,根据我们设计的需求,我们需要爬取最近一年的所有地震信息,我们找到快捷查询,按时间选择最近一年内地震,即可显示最近一年地震信息。
可以看到一共有59页,所以我们需要分析翻页URL。
试着点击第二页,第三页或尾页,我们可以发现网站的URL是固定不变的,我们大概率可以确定这些数据的加载来源都是通过后台js加载得到的,我门进行再次验证。
我们f12进入谷歌开发者模式,查看选择第二页对应的Elements模块的内容,可以看出 href="javascript:void (0)",很明显是通过js加载的。
<