写一个统计地震发生时间和深度的爬虫

想起了上次的地震,就写了一段爬虫从中国地震台网爬取数据
废话不多说,直接上代码

import re
import numpy as np
import pandas as pd
import urllib.request as urq
import urllib.error
from matplotlib import pyplot as plt
def get_data(url):
    headers = ('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363file = ur.urlopen(url)')
    opener = urq.build_opener()
    opener.addheaders = [headers]
    urq.install_opener(opener)
    #各个原子
    data = urq.urlopen(url).read().decode('utf-8')
    Mpat='<td align="center" style="padding-left: 20px">(.*?)</td>'
    UTCpat='<td align="center" style="width: 155px;">2020-0\d-\d\d\s(\d\d):.+</td>'
    #纬度、经度和深度在html中的正则表达式是相同且连续的,所以就只正则一个好了
    weidupat='<td align="center">(.*?)</td>'
    weizhipat='<a href="http://news.ceic.ac.cn/.+.html">(.*?)</a>'
    Mlist=re.compile(Mpat).findall(data)
    UTClist=re.compile(UTCpat).findall(data)
    UTClist.sort()
    weidulist=re.compile(weidupat).findall(data)
    weizhilist=re.compile(weizhipat).findall(data)
    weizhiname = np.array(weizhilist)
    weizhiname = np.delete(weizhiname,[100,101,102,103,104,105,106],axis=0)
    i=round(len(weidulist)/3)
    c = np.array(weidulist).reshape(i,3)
    #开始画图了,先做个表格方便拓展,可以用xlrd记录到excel中,也可以把wjsdata打印出来
    wjsdata = pd.DataFrame(c,index=weizhiname,columns=['纬度','经度','深度'])
    #这个地方我想对深度进行排序但是不知道为何总是不成功,不知道有没有大佬帮我看看
    wjsdata.sort_values(by = ['深度'],inplace = True,ascending = True)
    print(wjsdata)
    plt.subplot2grid((2,1),(0,0))
    shengdupicture = plt.hist(wjsdata['深度'],bins=15,color='red')
    plt.xlabel('happen depth of earthquake')
    plt.subplot2grid((2,1),(1,0)) 
    shijianpicture = plt.hist(UTClist,bins=24,color='blue')
    plt.xlabel('happen time of earthquake')
    plt.show()
    
    return 666666
url='http://news.ceic.ac.cn/index.html?time=1592389127'#中国地震台网的url
a = get_data(url)


代码完了,下面是运行结果

好像地震发生时间和地震没有什么关系。。。
图忘记拉开了~上面是深度,下面是时间,没有用中文因为懒得找字体文件
上次的地震还是记忆犹新阿~虽然只是小小的震了但是毕竟住的高,还是有挺明显的震感的

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
一、项目背景 网络和可视化爬虫技术是一种可以从互联网上自动采集数据并进行处理和分析的技术。这种技术可以帮助我们快速地获取大量的数据,并通过数据可视化的方式展示出来,让我们更加直观地了解数据的特点和趋势。Python是一种功能强大的编程语言,具有丰富的库和工具,可以用于开发网络和可视化爬虫技术。 二、技术可行性分析 1.网络爬虫技术可行性分析 网络爬虫技术是一种可以通过模拟浏览器行为来获取互联网上的数据的技术。Python具有丰富的库和工具,可以用于开发网络爬虫技术。其中最常用的库是BeautifulSoup和Scrapy。BeautifulSoup可以用于解析HTML页面,提取数据;Scrapy则是一个基于Python爬虫框架,可以用于快速开发高效的网络爬虫。 2.数据处理技术可行性分析 获取到的数据需要进行处理和分析,以便更好地了解数据特点和趋势。Python具有丰富的数据处理库,如NumPy、Pandas和Matplotlib等。NumPy可以用于处理数值计算,Pandas可以用于处理数据集,Matplotlib可以用于数据可视化。 3.可视化技术可行性分析 数据可视化是一种可以通过图表、图形等形式展示数据的技术。Python具有丰富的可视化库和工具,如Matplotlib、Seaborn和Plotly等。这些库可以用于生成各种类型的图表,如散点图、线图、条形图等。 三、应用场景 Python网络和可视化爬虫技术可以应用于各种场景中,如市场调研、舆情分析、竞品分析、用户行为分析等。这些场景都需要获取大量的数据,并进行处理和分析,以便更好地了解市场趋势和用户需求。 四、技术优势 1.高效性:Python具有丰富的库和工具,可以快速开发高效的网络和可视化爬虫技术,可以快速地获取和处理大量的数据。 2.可扩展性:Python具有良好的可扩展性,可以根据需求进行定制开发,满足各种应用场景的需求。 3.灵活性:Python具有灵活的语法和多种编程范式,可以满足不同开发者的编程习惯和需求。 4.开源性:Python是一种开源的编程语言,拥有庞大的社区支持和丰富的资源,可以快速地获取各种开发资源和支持。 五、总结 Python网络和可视化爬虫技术是一种可以帮助我们快速获取大量数据并进行处理和分析的技术。该技术具有高效性、可扩展性、灵活性和开源性等优势,可以应用于各种场景中。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值