Python爬取天气数据及可视化分析

前言

天气预报我们每天都会关注,我们可以根据未来的天气增减衣物、安排出行,每天的气温、风速风向、相对湿度、空气质量等成

为关注的焦点。本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取,保存为csv文件,之

后用matplotlib、numpy、pandas对数据进行可视化处理和分析,得到温湿度度变化曲线、空气质量图、风向雷达图等结果,为获

得未来天气信息提供了有效方法。

在这里插入图片描述

1、数据获取

请求网站链接

首先查看中国天气网的网址:http://www.weather.com.cn/weather/101280701.shtml这里就访问本地的天气网址,如果想爬取不同

的地区只需修改最后的101280701地区编号即可,前面的weather代表是7天的网页,weather1d代表当天,weather15d代表未来

14天。这里就主要访问7天和14天的中国天气网。采用requests.get()方法,请求网页,如果成功访问,则得到的是网页的所有字

符串文本。这就是请求过程。

在这里插入图片描述

Python学习交流Q群:906715085###
def getHTMLtext(url):     
 """请求获得网页内容"""
 try:         
  r = requests.get(url, timeout = 30)         
  r.raise_for_status()         
  r.encoding = r.apparent_encoding         
  print("成功访问")         
  return r.text     
 except:         
  print("访问错误")         
  return" "

提取有用信息

这里采用BeautifulSoup库对刚刚获取的字符串进行数据提取,首先对网页进行检查,找到需要获取数据的标签:

在这里插入图片描述

可以发现7天的数据信息在div标签中并且id=“7d”,并且日期、天气、温度、风级等信息都在ul和li标签中,所以我们可以使用

BeautifulSoup对获取的网页文本进行查找div标签id=“7d”,找出他包含的所有的ul和li标签,之后提取标签中相应的数据值,保存

到对应列表中。

这里要注意一个细节就是有时日期没有最高气温,对于没有数据的情况要进行判断和处理。另外对于一些数据保存的格式也要提

前进行处理,比如温度后面的摄氏度符号,日期数字的提取,和风级文字的提取,这需要用到字符查找及字符串切片处理。

Python学习交流Q群:906715085###
def get_content(html):
"""处理得到有用信息保存数据文件"""
final = []          # 初始化一个列表保存数据
bs = BeautifulSoup(html, "html.parser")  # 创建BeautifulSoup对象
body = bs.body
data = body.find('div', {'id': '7d'})    # 找到div标签且id = 7d

下面爬取当天的数据

Python学习交流Q群:906715085####
data2 = body.find_all('div',{'class':'left-div'})
text = data2[2].find('script').string 
text = text[text.index('=')+1 :-2]   # 移除改var data=将其变为json数据
jd = json.loads(text)
dayone = jd['od']['od2']     # 找到当天的数据
final_day = []           # 存放当天的数据
count = 0
for i in dayone:
temp = []
if count <=23:
temp.append(i['od21'])     # 添加时间
temp.append(i['od22'])     # 添加当前时刻温度
temp.append(i['od24'])     # 添加当前时刻风力方向
temp.append(i['od25'])     # 添加当前时刻风级
temp.append(i['od26'])     # 添加当前时刻降水量
temp.append(i['od27'])     # 添加当前时刻相对湿度
temp.append(i['od28'])     # 添加当前时刻控制质量
#print(temp)
final_day.append(temp)
count = count +1

下面爬取7天的数据

ul = data.find('ul')      # 找到所有的ul标签
li = ul.find_all('li')      # 找到左右的li标签
i = 0     # 控制爬取的天数
for day in li:          # 遍历找到的每一个li
if i < 7 and i > 0:
temp = []          # 临时存放每天的数据
date = day.find('h1').string     # 得到日期
date = date[0:date.index('日')]   # 取出日期号
temp.append(date)    

inf = day.find_all('p')      # 找出li下面的p标签,提取第一个p标签的值,即天气
temp.append(inf[0].string)


    tem_low = inf[1].find('i').string   # 找到最低气温

    if inf[1].find('span') is None:   # 天气预报可能没有最高气温
        tem_high = None
    else:
        tem_high = inf[1].find('span').string  # 找到最高气温
    temp.append(tem_low[:-1])
    if tem_high[-1] == '℃':
     temp.append(tem_high[:-1])
    else:
     temp.append(tem_high)
    wind = inf[2].find_all('span')  # 找到风向
    for j in wind:
     temp.append(j['title'])
    wind_scale = inf[2].find('i').string # 找到风级
    index1 = wind_scale.index('级')
    temp.append(int(wind_scale[index1-1:index1]))
    final.append(temp)
i = i + 1

return final_day,final

同样对于/weather15d:15天的信息,也做同样的处理,这里经过查看后发现他的15天网页中只有8-14天,前面的1-7天

在/weather中,这里就分别访问两个网页将爬取得到的数据进行合并得到最终14天的数据。- 前面是未来14天的数据爬取过程,

对于当天24小时的天气信息数据,经过查找发现他是一个json数据,可以通过json.loads()

方法获取当天的数据,进而对当天的天气信息进行提取。
在这里插入图片描述

在这里插入图片描述

保存csv文件

前面将爬取的数据添加到列表中,这里引入csv库,利用f_csv.writerow(header)和f_csv.writerows(data)方法,分别写入表头和每

一行的数据,这里将1天和未来14天的数据分开存储,分别保存为weather1.csv和weather14.csv,下面是他们保存的表格图:

在这里插入图片描述

在这里插入图片描述

2.可视化分析

当天温度变化曲线图

采用matplotlib中plt.plot()方法绘制出一天24小时的温度变化曲线,并用plt.text()方法点出最高温和最低温,并画出平均温度线,下

图为温度变化曲线图:(代码见附录)

  • 9
    点赞
  • 63
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Python是一种简单易学的编程语言,适合数据处理和分析。在爬取天气数据方面,Python有很多强大的第三方库可以帮助我们完成这项任务。 首先,我们可以使用BeautifulSoup库或Scrapy爬取天气网站上的数据。这些库可用于将HTML网页转换为Python对象,从而轻松地提取数据。 然后,我们可以使用pandas库将爬取数据存储在DataFrame中,并对其进行有效的处理和分析。pandas提供了各种数据操作方法,例如连接、过滤、排序和分组,使我们能够有效的清理和整理数据。 最后,我们可以使用matplotlib或Seaborn等可视化库来创建数据可视化图表。这些库提供了各种绘图选项,例如折线图、散点图等,使我们能够更好地理解和分析数据。 总结来说,从爬取到处理再到可视化分析Python提供了完整的工具链,使我们可以轻松地获取所需信息、分析数据并推出结论。 ### 回答2: Python是一门非常适合进行数据爬取数据分析的语言。如果想要实现爬取天气数据并进行可视化分析,可以使用Python的第三方库进行实现。下面我们来详细介绍一下具体的步骤。 首先,我们需要选择合适的天气数据来源。在国内,有很多天气网站提供了API接口供开发者使用。例如,中国天气网、天气之子等等。我们可以选择其中一个合适的接口进行数据爬取。比如,我们可以爬取每天的温度、湿度、风力等信息,并将其存储到本地的数据库中或者保存为csv、txt等格式的文件。 接下来,我们需要将爬取到的天气数据进行可视化分析。这里我们可以使用Python的matplotlib库,它是一个非常强大的数据可视化工具。我们可以通过调用该库中的函数,绘制出各种类型的图表,如折线图、柱状图、散点图等等。具体的绘图方法,可以根据我们需要展示的信息以及分析目的,灵活选择。 最后,我们可以将经过可视化分析数据图表进行可视化展示。Python提供了很多可视化库,比如Flask、Django等,可以将分析结果以Web页面的形式展现出来。另外,还可以使用Jupyter Notebook进行编程和可视化的交互式展示。 总之,通过Python进行天气数据爬取可视化分析,可以帮助我们更加全面、直观地了解天气情况,并从中发现有用的规律和趋势。而本文所提到的方法只是其中的一种,还有很多其他的可视化工具和数据分析思路,需要根据具体情况进行选择和应用。 ### 回答3: Python 是一种非常强大的编程语言,可用于爬取数据可视化分析。在这里,我们将介绍如何使用 Python 爬取天气数据,并对其进行可视化分析。 1. 爬取天气数据 爬取天气数据的第一步是确定数据源。一些常见的数据源包括:天气预报和气象站数据。我们可以使用 Python 程序访问这些数据源,然后将其存储在 CSV 文件中。 以下是使用 Python 爬取天气数据的简单步骤: - 导入所需的库:如requests、beautifulsoup4、csv等库; - 定义爬取的网址:通过查看天气预报或气象站来确定要爬取的网址; - 解析网页:使用BeautifulSoup库来解析HTML源代码; - 提取数据:从HTML源代码中提取所需信息(例如,温度、湿度、气压等); - 存储数据:利用Python的csv库将提取的数据存储在CSV文件中。 2. 可视化分析 Python还提供了各种库和工具,可对爬取天气数据进行可视化分析。下面是一些常用的库和工具: - Matplotlib:用于绘制图表和可视化; - Pandas:用于加载和预处理数据; - Seaborn:用于数据可视化和统计; - Plotly:用于交互式绘图; - Bokeh:用于高级交互式可视化可视化分析的步骤如下: - 导入所需的库; - 加载数据:从CSV文件中加载爬取天气数据; - 预处理数据:通过排序、过滤和合并数据等方式,为可视化做准备; - 绘图:根据需要,使用Matplotlib、Seaborn、Plotly和Bokeh等库来绘制图表; - 交互:使用Plotly和Bokeh等库创建交互式可视化。它们提供了各种控件,例如滑块、下拉菜单、复选框和单选按钮,以便用户能够自定义图表。 总之,使用Python爬取天气数据并进行可视化分析是一项有用的技能,使您能够更好地理解天气变化和趋势。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值