Python爬取天气实况（1）

最新推荐文章于 2024-04-20 10:08:16 发布
最新推荐文章于 2024-04-20 10:08:16 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： # Python爬虫 文章标签： python 正则表达式
本文章为作者原创，未经许可禁止转载。
本文链接：https://blog.csdn.net/baidu_39514357/article/details/106046942
版权

一、最初的想法

我们昨天弄了个爬取天气实况的程序，本文章用以记录思考和编写过程。
这里选取的爬取网站是http://q-weather.info/weather/59488//realtime/
下图就是查天气网站截图。
（站号修改成其他气象站号就可以查询其他城市的实况）
查天气网站
我们以59488珠海站为例，爬取的HTML源代码如下：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">\n<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-CN">\n<head>\n\t<meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />\n\t<title>查天气</title>\n\t<style type="text/css">\n\t\ttable {\n\t\t\tborder-width: 0px;\n\t\t\tborder-style: solid;\n\t\t\tborder-collapse: collapse;\n\t\t}\n\t\ttable th {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t\ttable td {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t</style>\n</head>\n<body>\n\t<center>\n\t\t<h1>59488 (珠海) 站的当前实况</h1>\n\t\t<table>\n\t\t\t<thead>\n\t\t\t\t<tr>\n\t\t\t\t\t<th>气象要素</th>\n\t\t\t\t\t<th>值</th>\n\t\t\t\t\t<th>更新时间</th>\n\t\t\t\t</tr>\n\t\t\t</thead>\n\t\t\t<tbody>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>瞬时温度</td>\n\t\t\t\t\t<td>24.4</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>24小时变温</td>\n\t\t\t\t\t<td>-3.7</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>地面气压</td>\n\t\t\t\t\t<td>1004.2</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>相对湿度</td>\n\t\t\t\t\t<td>97</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均风向</td>\n\t\t\t\t\t<td>WNW</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均风速</td>\n\t\t\t\t\t<td>2.0</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>1小时降水</td>\n\t\t\t\t\t<td>0.1</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>24小时降水</td>\n\t\t\t\t\t<td>40.4</td>\n\t\t\t\t\t<td>2020-05-10 20:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均能见度</td>\n\t\t\t\t\t<td>16.534</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t</tbody>\n\t\t</table>\n\t</center>\n</body>\n</html>\n

如果将转义字符转义（就是将\n和\t变成换行和制表），也就是：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-CN">
<head>
	<meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />
	<title>查天气</title>
	<style type="text/css">
		table {
			border-width: 0px;
			border-style: solid;
			border-collapse: collapse;
		}
		table th {
			border-width: 1px;
			padding: 3px;
			border-style: solid;
		}
		table td {
			border-width: 1px;
			padding: 3px;
			border-style: solid;
		}
	</style>
</head>
<body>
	<center>
		<h1>59488 (珠海) 站的当前实况</h1>
		<table>
			<thead>
				<tr>
					<th>气象要素</th>
					<th>值</th>
					<th>更新时间</th>
				</tr>
			</thead>
			<tbody>
				<tr align="center">
					<td>瞬时温度</td>
					<td>24.4</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>24小时变温</td>
					<td>-3.7</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>地面气压</td>
					<td>1004.2</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>相对湿度</td>
					<td>97</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>10分钟平均风向</td>
					<td>WNW</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>10分钟平均风速</td>
					<td>2.0</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>1小时降水</td>
					<td>0.1</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
				<tr align="center">
					<td>24小时降水</td>
					<td>40.4</td>
					<td>2020-05-10 20:00 +0800</td>
				</tr>
				<tr align="center">
					<td>10分钟平均能见度</td>
					<td>16.534</td>
					<td>2020-05-10 21:00 +0800</td>
				</tr>
			</tbody>
		</table>
	</center>
</body>
</html>

我最初的想法是将每个气象要素按照名称爬下来，这也是很朴素的想法。
我先把HTML中的所有多余的标签和转义字符去掉，但不能全部去掉，因为一旦全部去掉，所有数据都连在一起，就没有办法把他们正确分开了。因此我们故意不去掉/td标签。
然后对每一个气象要素都写一个专门的正则表达式。
/td标签到最后输出的时候可以直接被替换成需要的分隔符（如“：”、“（”、“）”）。
举个例子：

<tr align="center">\n\t\t\t\t\t<td>地面气压</td>\n\t\t\t\t\t<td>1004.2</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>

去掉“\n\t\r、td标签、tr标签、<tr align=“center”>标签”，只留下/td标签后的效果：

地面气压</td>1004.2</td>2020-05-10 21:00 +0800</td>

最后将/td替换成需要的字符：

地面气压：1003（更新时间：2020-05-10 10:00+0800）

按照如上思路，代码如下：

import requests
import re

r = requests.get("http://q-weather.info/weather/59488/realtime/",timeout=30)
delete = re.compile(r'[\n\t\r]+|<td>|</tr>|<tr align=\"center\">')#去掉不需要的标签

html = re.sub(delete,'',r.text)

def dec(s):
#该函数作用是修整字符串，打印成格式如“瞬时温度：24.3（更新时间：2020-05-10 10:00+0800）”
    m = re.split('</td>',s)#找出每个/td，分离字符串
    print(m[0]+':'+m[1]+'(更新时间：'+m[2]+')')

pat = re.compile(r'\d{5}.*站的当前实况')#提取标题
temp = pat.search(html).group(0)
print(temp)
#下面的都是提取各个气象要素，然后送去修整字符串的函数处理
pat = re.compile(r'瞬时温度</td>.*?</td>.*?</td>')#对每一个气象要素都写个正则表达式
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'24小时变温</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'地面气压</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'相对湿度</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'10分钟平均风向</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'10分钟平均风速</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'1小时降水</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'24小时降水</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

pat = re.compile(r'10分钟平均能见度</td>.*?</td>.*?</td>')
temp = pat.search(html).group(0)
dec(temp)

这段程序输出没有什么问题，一切都如计划中进行，然而有时候却会出现匹配失败的信息，这又是怎么回事呢？
原来有时候随着网站更新数据，气象要素的名称不是一成不变的，有时候不是“10分钟平均风速”，而是“瞬时风速”，有时候不是“10分钟平均风向”，而是“瞬时风向”，这样就匹配不了了。

二、进一步改进

分析了以上情况后，以上的这个代码就不可行了，这说明正则表达式中不能直接出现气象要素名称。
观察下面的HTML源代码，可以发现每一组气象数据都包含在tr标签里面，所以正则表达式是：

"<tr align=\"center\">.*?</tr>"

用findall函数遍历整个HTML源码，遍历结果写入一个列表中，然后将遍历结果中多余的标签和换行字符用re库的sub函数全部去掉。
然而我们发现以上的表达式仍然不能匹配出任何有效信息，列表是空的，这是为什么呢？我专门去搜索了一下原因。
原来，.是匹配除过\n 之外的全部字符，用[\d\D] 匹配所有字符，或者用[\s\S] 也可以。
所以正则表达式进一步改成：

"<tr align=\"center\">[\d\D]*?</tr>"

最后的核心代码如下：

import requests
import re

r = requests.get("http://q-weather.info/weather/59488/realtime/", timeout=30)

pat_title = re.compile(r'\d{5}.*站的当前实况')#提取标题
title = pat_title.search(r.text).group(0)
print(title)

lst = re.findall(r'<tr align=\"center\">[\d\D]*?</tr>', r.text)#配对

for l in lst:
    m = re.sub(r'[\n\t]+|<td>|</tr>|<tr align=\"center\">', '', l)#删掉不要的标签
    result = re.split('</td>',m)#分离字符串
    print(result[0]+':'+result[1]+' (更新时间：'+result[2]+')')

可以看到代码长度一下减少了很多。
输出结果如下：

59488 (珠海) 站的当前实况
瞬时温度:30.1 (更新时间：2020-05-11 09:40 +0800)
24小时变温:0.2 (更新时间：2020-05-11 09:40 +0800)
地面气压:1006.3 (更新时间：2020-05-11 09:40 +0800)
相对湿度:68 (更新时间：2020-05-11 09:40 +0800)
10分钟平均风向:ENE (更新时间：2020-05-11 09:40 +0800)
10分钟平均风速:3.3 (更新时间：2020-05-11 09:40 +0800)
1小时降水:0.0 (更新时间：2020-05-11 09:00 +0800)
24小时降水:40.5 (更新时间：2020-05-11 09:00 +0800)
10分钟平均能见度:30.000 (更新时间：2020-05-11 09:00 +0800)

当然这只是个初步的代码，许多异常情况未考虑进去，比如气象站号不存在、爬虫过程中出现请求失败等情况，仍然有改进之处。

Mount256
关注
专栏目录
使用Python爬取实时天气信息: 如何构建自己的气象观察站
2201_76125393的博客
07-02 140
随着物联网、大数据和人工智能的迅速发展，如今我们可以轻松获取实时天气信息，这在过去是无法想象的。对于开发者来说，构建一个自己的气象观察站并非难事。在本篇博客中，我们将学习如何使用Python爬虫，从天气网站爬取实时天气信息。在开始之前，确保您已经安装了以下Python库：requests，bs4和pandas。
python爬虫入门，获取全国气象站24小时整点气象数据
sinat_22510827的博客
09-09 7996
0.3792018.02.15 22:28:26字数 907阅读 3200 python爬虫入门，获取全国气象站24小时整点气象数据（一）python爬虫入门，获取全国气象站24小时整点气象数据（二） 上一节我们已经成功获取了单个城市的天气数据，接下来我们就要扩展到获取全国所有城市地区的气象数据，很简单，一步一步来。 3.将数据存储到数据库 我们的目标是收集全国所有气象站每天24小时整...
Python爬取天气实况（2）
Mount256的博客
05-15 662
三、对爬取天气实况程序的进一步优化 对上一篇的程序进行优化，加上了处理异常机制，比如爬取失败怎么处理，比如站号不存在怎么处理，使程序更加健壮。 代码如下： import requests import re def getHTMLtext(url): try: r = requests.get(url, timeout=30) r.raise_for_status() #如果状态不是200，引发HTTPError异常 r.encoding = r.
Python爬取天气实况图片
m0_57289085的博客
12-29 481
jupyter编写 import timeimport requestsimport osdate=time.strftime("%Y-%m-%d",time.localtime((time.time())))year=date[:4]month=date[5:7]day=date[8:10]need_spyder=["grapes","nmc"]url='http://image.nmc.cn/product/'+year+'/'+month+'/'+day+'/STFC/medium/SEVP_NMC
QWeather：开源天气API，准确、全面，赋能你的应用
gitblog_00096的博客
04-20 815
QWeather：开源天气API，准确、全面，赋能你的应用 qweather和风天气 Home Assistant 插件项目地址:https://gitcode.com/gh_mirrors/qw/qweather 是一个强大的开源天气API服务，提供全球范围内的实时天气信息和未来预报数据。开发者可以利用这个项目轻松地在自己的应用中集成天气功能，为用户提供精准的气象信息。 项目概述 QWeath...
Qt 天气预报
NuvoleWalker的博客
09-03 2101
通过调用天气服务器接口来获取天气信息，随后对获取到的json格式信息进行提取和转换 这里给出一个获取天气服务器的接口：http://wthrcdn.etouch.cn/weather_mini?city= 运行结果如下： 获取信息功能实现： weather.cpp: #include "weather.h" Weather::Weather(QObject *parent) : QObject(parent) { manager = new QNetworkAccessManager(thi
中国基准、基本气象站列表2012版
热门推荐
大气环境数据屋
08-05 1万+
区站号 省份 站名 纬度（度.分） 经度（度.分） 气压传感器拔海高度（米） 观测场拔海高度（米） 开始年月 结束年月 缺少年月 备注 58015 安徽 砀山 34.27 116.2 45.4 44.2 195410 201207 58102
实操 | 从0到1教你用Python来爬取整站天气网
Everly_的博客
03-20 1159
我们本次通过爬取天气网站的来作为学习Scrapy的，这里展示的关于Scrapy大部分的知识点。如果改写列表，就可以爬取北京所有的天气信息，当然还可以爬取全部城市的天气信息，即这个天气网的全部内容基本都爬取。
基于python3自动爬取气象台天气预报及天气实况+源代码+文档说明+安装教程
04-20
python3自动爬取中央气象台天气预报及天气实况 安装教程 Download Zip到本地解压即可 安装Python3.** 没有提供requirements.txt，手动pip安装main.py内的第三方模块（qcloudsms_py相关包和方法可以注释掉不用） ...
一个简单的爬虫例子-天气
SXL200127的博客
04-28 606
一、设计任务 目标：用Python设计一个数据抓取程序，达到以下基本要求： 数据抓取任务自拟，如电子商务交易数据、客户评论、新闻、图片等。 获取的数据存储为数据文件，或sqlite数据库。 程序有适当的注释，有完整的说明文件。 二、数据来源 本爬虫程序爬取的数据均来自于中国天气网城市首页的72小时天气预报（日期、天气现象、气温及空气质量）及某时刻实时天气实况，具体网址如下： http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_f
用QT写的一个天气预报小软件
10-22
从Google提供的天气预报API接口获取的天气情况，只需输入查询地址，就可以获取实时天气。
WeatherInfo:这是一个简单的 android 应用程序，它将向使用 JSON 格式的服务器网站询问天气信息。
07-04
天气信息 这是一个简单的 android 应用程序，它将询问使用 JSON 格式的服务器网站以获取天气信息。
天气查询APP，Json解析，3种方式
09-25
天气查询APP，两种JSON解析方式 /** * 原始json数据解析 * */ // JSONObject jsonObject = new JSONObject(res); // String reason=jsonObject.getString("reason"); // if (reason.equals("参数不正确")){ // handler.sendEmptyMessage(1); // return; // } // JSONObject result=jsonObject.getJSONObject("result"); // JSONObject realtime=result.getJSONObject("realtime"); // JSONObject life=result.getJSONObject("life"); // JSONObject wind=realtime.getJSONObject("wind"); // String time=realtime.getString("time"); // JSONObject weather=realtime.getJSONObject("weather"); // String date=realtime.getString("date"); // dateStr=time+date; // weekStr=realtime.getString("week"); // calendarStr=realtime.getString("moon"); // windpowerStr=wind.getString("direct")+" "+wind.getString("power"); // weatherStr=weather.getString("info"); // temperatureStr=weather.getString("temperature"); // JSONObject info=life.getJSONObject("info"); // JSONArray kongtiao=info.getJSONArray("kongtiao"); // JSONArray yundong=info.getJSONArray("yundong"); // JSONArray ziwaixian=info.getJSONArray("ziwaixian"); // ACStr=kongtiao.getString(0)+" "+kongtiao.getString(1); // sportStr=yundong.getString(0)+" "+yundong.getString(1); // lightStr=ziwaixian.getString(0)+" "+ziwaixian.getString(1); /** * Gson数据解析 */ WheatherBean wheatherBean=new Gson().fromJson(res,WheatherBean.class); String reason=wheatherBean.getReason(); if (reason.equals("参数不正确")){ handler.sendEmptyMessage(1); return; } WheatherBean.ResultBean resultBean=wheatherBean.getResult(); WheatherBean.ResultBean.RealtimeBean realtimeBean=resultBean.getRealtime(); WheatherBean.ResultBean.RealtimeBean.WindBean windBean=realtimeBean.getWind(); String time=realtimeBean.getTime(); WheatherBean.ResultBean.RealtimeBean.WeatherBean weatherBean=realtimeBean.getWeather(); String date=realtimeBean.getDate(); dateStr=time+date; weekStr=realtimeBean.getWeek(); calendarStr=realtimeBean.getMoon(); windpowerStr=windBean.getDirect()+" "+windBean.getPower(); temperatureStr=weatherBean.getTemperature(); weatherStr=weatherBean.getInfo(); WheatherBean.ResultBean.LifeBean lifeBean=resultBean.getLife(); WheatherBean.ResultBean.LifeBean.InfoBean infoBean=lifeBean.getInfo(); List<String> kongtiao=infoBean.getKongtiao(); List<String> yundong=infoBean.getYundong(); List<String> ziwaixian=infoBean.getZiwaixian(); ACStr=kongtiao.get(0)+" "+kongtiao.get(1); sportStr=yundong.get(0)+" "+yundong.get(1); lightStr=ziwaixian.get(0)+" "+ziwaixian.get(1); }
QT学习 http ----获取天气Json信息并解析以及下载文件并保存
Easadon的博客
08-27 970
1
zabbix监控全国天气实况
wanger5354的博客
07-23 350
微信公众号：运维开发故事，作者:wanger 本文主要通过一些监控示例来简单介绍zabbix的http agent类型的监控以及map图的简单用法，我们可以通过一些网站查询天气的api来获取天气情况，大部分的地图软件也都支持天气查询，这里我简单介绍几个，有高德地图，百度地图，心知天气，YY天气，个人用的是YY天气，因为我的需求不高，他能轻易地满足我 YY天气api地址：http://www.yytianqi.com/api.html 创建HTTP agent类型的监控项 以创建北京天气的监控项为例 我们.
Qt--天气预报
lengyuefeng212的博客
09-20 1202
文章目录一、功能介绍二、代码三、运行 一、功能介绍 能获取昨天和未来五天的天气情况 就简单获取了一下数据，没有界面处理显示，后续应用的时候再做界面 二、代码 weather.h #ifndef WEATHER_H #define WEATHER_H #include <QWidget> #include <QNetworkAccessManager> #include <QNetworkRequest> #include <QNetworkReply>
天气
huahua12300的专栏
12-24 3914
C#调用国家气象局天气预报接口 一.需求 最近，刚好项目中有天气预报查询功能的需求，要求录入城市名称，获取该城市今日天气信息及相关气象生活辅助信息等。 例如：查询北京市天气 结果为： 今日北京天气：15℃~5℃ 阵雨转阴，北风3-4级，天气冷，建议着棉服、羽绒服、皮夹克加羊毛衫等冬季服装。年老体弱者宜着厚棉衣、冬大衣 或厚羽绒服。 洗车指数：不宜。紫外
python 爬取天气数据
最新发布
09-24
Python爬取天气数据通常涉及到Web scraping技术和API调用。最常见的做法是利用第三方天气API，如OpenWeatherMap、Weather Underground等，它们提供程序化的接口供开发者获取实时或历史天气信息。 首先，你需要注册并获取API密钥，然后选择适合的语言库，比如`requests`用于发送HTTP请求，`json`处理返回的数据。以下是简单的步骤： 1. **安装依赖**: 安装必要的Python库，例如`requests`： ``` pip install requests ``` 2. **编写代码**: ```python import requests import json # 替换为你从API提供商获取的实际URL和API Key url = "http://api.openweathermap.org/data/2.5/weather" params = { "q": "北京", # 城市名 "appid": "your_api_key", # API密钥 "units": "metric" # 单位，可以选择metric(摄氏)或imperial(华氏) } response = requests.get(url, params=params) if response.status_code == 200: data = json.loads(response.text) # 提取所需天气信息，如温度、湿度等 temperature = data['main']['temp'] humidity = data['main']['humidity'] print(f"北京当前温度: {temperature}℃, 湿度: {humidity}%") else: print("获取天气数据失败.") ``` 3. **异常处理**: 不要忘记处理可能出现的网络错误、解析错误或其他异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值