java 天气爬虫_每天一个爬虫练习,爬取天气数据,适合新手

本文介绍了一个使用Python爬虫抓取历史天气数据的实例,通过BeautifulSoup解析HTML,请求多个月份的数据,并利用pandas进行数据整合。最终获取到一年的天气状况、最高气温和最低气温。
摘要由CSDN通过智能技术生成

importrequestsfrom bs4 importBeautifulSoupimportpandas as pdimporttimedefget_data(url):

resp=requests.get(url)

html= resp.content.decode('gbk')

soup= BeautifulSoup(html, 'html.parser')

tr_list= soup.find_all('tr')

dates, conditions, tempmin, tempmax=[], [], [], []for data in tr_list[1:]:

sub_data=data.text.split()

dates.append(sub_data[0])

conditions.append(''.join(sub_data[1:3]))

tempmax.append(sub_data[3])

tempmin.append(sub_data[5])

_data=pd.DataFrame()

_data["日期"] =dates

_data['天气状况'] =conditions

_data['最高气温'] =tempmax

_data['最低气温'] =tempminreturn_data#data_1_month = get_data('此处为任一月份数据的网址') 使用时只需修改此处,具体示例如下

print('正在抓取1月份数据')

data_1_month= get_data('http:/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值