用python爬取历史天气数据

最新推荐文章于 2024-12-21 16:45:01 发布
最新推荐文章于 2024-12-21 16:45:01 发布
阅读量4.4k 收藏 44
点赞数 15
文章标签： python 爬虫 正则表达式 天气
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huatmpa/article/details/103740764
版权
本文介绍如何使用Python爬虫从某天气网站获取2011年以来的历史天气数据。首先分析URL结构，找到城市代码和年份月份代码，构建URL列表。接着利用正则表达式提取数据，避开2017年前后的数据格式差异。数据解析过程中遇到的坑包括城市代码变化、污染物信息的不确定性等。最后，将数据存储到sqlite3数据库，解决字段动态增加的问题，成功爬取334个城市，100多万条数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

某天气网站（www.数字.com）存有2011年至今的天气数据，有天看到一本爬虫教材提到了爬取这些数据的方法，学习之，并加以改进。

准备爬的历史天气

爬之前先分析url。左上有年份、月份的下拉选择框，按F12，进去看看能否找到真正的url：

54511-20161.js

很容易就找到了，左边是储存月度数据的js文件，右边是文件源代码，貌似json格式。

双击左边js文件，地址栏内出现了url：http://tianqi.数字.com/t/wea_history/js/54511_20161.js

url中的“54511”是城市代码，“20161”是年份和月份代码。下一步就是找到城市代码列表，按城市+年份+月份构造url列表，就能开始遍历爬取了。

城市代码也很诚实，

最低0.47元/天 解锁文章
huatmpa
关注
网页爬虫（七）：爬取某城市历史天气数据
weixin_53825153的博客
03-17 485
【代码】网页爬虫（七）：爬取某城市历史天气数据。
利用 Python 爬取历史天气数据并进行气候分析
2201_76125261的博客
12-12 428
通过本文的介绍，我们成功地实现了从 Weather Underground 网站爬取历史天气数据的完整流程，包括数据清洗、处理和气候分析。该方法可用于多种气候研究场景，为气象预测、环境分析提供数据支持。
python爬天气网历史数据
Tourior的博客
08-07 1063
爬取天气网气象数据____聂拉木
python爬取网络历史天气数据
05-24
python爬取网络历史天气数据
python爬虫爬取各个城市历史天气及数据可视化
08-21 3743
前言： 　　爬取网站www.tianqihoubao.com上各城市的历史天气数据，并利用matplotlib将数据可视化。 　　 代码实现： 1 import asyncio 2 import aiohttp 3 from lxml import etree 4 import re 5 from collections import ...
python爬取历史天气数据并保存_从网上抓取历史天气数据
weixin_31193137的博客
01-14 1779
读《鲜活的数据》第二章有个从wunderground.com获取历史天气数据的例子。那是个国外的网站，或许国内的天气网站有更多关于国内城市的天气信息，用搜狗搜了“历史天气”，果然找到一个提供历史数据的网站lishi.tianqi.com，观察了一下它的页面结构，写了一个从这个网站抓取特定城市一年中每天天气的python程序。历史天气的页面是以月为单位展示数据的，每个城市每个月对应一个页面，在url...
python爬取历史天气数据
jylin的博客
01-16 4201
爬取历史天气数据 def get_one_page(url): ''' 获取网页 ''' print('正在加载'+url) headers={'User-Agent':'User-Agent:Mozilla/5.0'} try: response = requests.get(url,headers=headers) if r...
【python爬虫】——历史天气信息爬取
qq_38734327的博客
09-19 2431
网页使用get方式发送请求，所需参数包括areaInfo[areaId]、areaInfo[areaType]、date[year]、date[month]，分别为城市id、城市类型，年、月。在2345天气信息网。
用python爬取历史天气数据的方法示例
09-18
本文将详细介绍使用Python爬取历史天气数据的方法，并通过示例代码进行说明，以帮助大家更好地理解和掌握该技能。 首先，我们需要明白爬虫技术的基本原理。爬虫是一种自动获取网页内容的程序，通过模拟人类上网的...
python爬取历史天气_Python 爬取历史天气数据
weixin_39710594的博客
12-03 1751
Python 爬取历史天气数据作者：梅昊铭1. 导读之前Mo给大家分享过杭州历年天气情况的数据集，相信有不少小伙伴好奇这些数据是怎么获取。今天Mo就来教大家如何使用Python来进行历史天气数据的爬取。本文的内容只要求大家熟悉 Python 即可，欢迎大家跟着小Mo一起学习。2. 准备工作2.1 目标网站分析在爬取数据之前，我们首先要对爬取的目标网站进行分析，弄清楚爬取的页面和数据在哪里，然后再利...
使用爬虫爬取天气历史数据（https://lishi.tianqi.com/）
leokingszx的博客
08-03 4128
目标：获取https://lishi.tianqi.com/这个页面中所有城市在2021.1~2021.7的历史天气数据 一、获取爬虫头： import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import os import random from bs4 import BeautifulSoup import time import socket impor...
【python爬虫实战】——爬取历史天气信息_天气数据数据+可视化(附完整代码)
最新发布
weixin_65147810的博客
12-21 2622
通过Python爬虫，可以高效地采集公开的历史天气数据，然后将其应用于各种应用场景。比如气象研究、旅游的规划、辅助农业的决策等等。本文将详细介绍历史天气数据的抓取方法
历史天气信息数据爬取
Aronup
02-13 2470
北京市2020年1月份历史天气爬取 视频教程（讲的阔以的） 1 确定目标网址 1.1 目标网址 [2345天气] 1.2 目标数据 北京2020年一月份 2 分析网页 分析过程大家去看视频吧，讲的很好，现学现卖 ???? 3 爬取js文件 爬取过程 1.构造URL 2.用requests获取js，处理成json样式，接下转换成标准的json 3.用demjson转换成标准的json 4.解析数据放入...
Python爬虫练习：爬取天气数据实时数据并保存（附源码）
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-22 2500
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 项目目标 爬取米胖天气网站，保存实时数据 受害者地址 (https://weather.mipang.com/) 开始代码 导入工具 import requests import parsel import csv import time 请求网站 url = 'https://weather.mipang.com/changsha/{}yuefen.h.
用python数据分析天气_使用Python进行天气预测之获取数据
weixin_39937447的博客
11-27 1983
0. 前言Python实战之天气预测1. 爬取数据这里使用request库和正则表达式进行数据的爬取爬取网上的历史天气数据，这里我使用了成都的历史天气数据（2011-2018年）之后的天气预测也将会使用成都的历史天气数据这里说明：由于数据存在缺失，2016年以前的空气质量数据没有找到通过分析网址我们得到最后的数据都是存在于js文件中的。1.1 构造日期：for year in range(2011...
爬虫攻守道 - 2023最新 - JS逆向 - Python Scrapy实现 - 爬取某天气网站历史数据
biaobro的博客
01-10 3150
爬虫与反爬虫 - 2023最新爬取某天气网站历史数据 - JS逆向 - Python实现
使用python爬取天气信息（包括历史天气数据）
热门推荐
qq_44988175的博客
05-15 3万+
使用Python爬虫获取城市天气信息（包括历史天气数据） 使用python爬取历史天气数据 文章目录使用Python爬虫获取城市天气信息（包括历史天气数据）一、准备工作二、完整代码 一、准备工作 python环境3.6.7，需要用到的库主要有re，BeautifulSoup，requests以及pandas(用于保存数据) 目标网站为四川省绵阳市天气网站 分析目标网站的源码，部分源码如图： 可以看到，所有数据都被封装在class为thrui的标签下，所以我们可以使用bs解析数据后使用find_all函数
气温数据爬虫（历史+预报）
稳如老狗Elsie
09-12 2090
本文示例程序的功能主要是获取湖北省各个地市每日最高温、最低温、风速、风向等数据。包括历史气温数据以及未来40天预报气温数据。
【python爬虫】利用Python爬取天气数据，并做可视化分析
GLB_0627的博客
08-14 2793
注意爬取网页的网址变化规律，可用变量拼出网址字符串进行循环爬取。例如，我们在分析北京2022年9月1日的天气时，发现url有如下的规律：固定网址：http://www.tianqihoubao.com/lishi/变量网址：地名拼音+时间字符串这样就可以通过赋值变量，批量循环爬取了，该部分内容留给同学们继续深入探究。
python爬取天气数据_Python爬取历史天气数据
06-12
好的，您想了解如何用 Python 爬取历史天气数据，是吗？ 首先，需要确定您想要爬取哪个地区的历史天气数据。一般来说，可以通过查询该地区的气象局或气象网站获取历史天气数据。 接着，可以使用 Python 中的 requests 库来发送 HTTP 请求，获取网页源代码。然后，可以使用 BeautifulSoup 库来解析网页源代码，提取出所需的天气数据。 以下是一个简单的示例代码，用于爬取中国天气网上北京市 2019 年 1 月份的历史天气数据： ``` python import requests from bs4 import BeautifulSoup url = 'http://www.weather.com.cn/weather/101010100.shtml#dt' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} r = requests.get(url, headers=headers) r.encoding = 'utf-8' soup = BeautifulSoup(r.text, 'html.parser') weather_list = soup.select('.t li') for weather in weather_list: date = weather.select('.time')[0].text weather_detail = weather.select('.temp')[0].text.strip() print(date, weather_detail) ``` 以上代码中，我们首先通过 requests 库发送了一个 GET 请求，获取了北京市天气网的网页源代码。然后，使用 BeautifulSoup 库解析网页源代码，提取出了 2019 年 1 月份的天气数据，并打印输出了日期和天气详情。 需要注意的是，不同的网站网页结构不同，需要根据具体情况修改代码。同时，需要注意网站的 robots.txt 文件，不要过度访问网站，以免被封 IP 或其他限制。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值