python爬虫 weather.com.cn

最新推荐文章于 2024-08-10 17:53:20 发布
最新推荐文章于 2024-08-10 17:53:20 发布
阅读量1.8k 收藏 4
点赞数
分类专栏： 技术储备 文章标签： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunshangjin/article/details/86516752
版权

参考书籍资料

实践工具、软件

python镜像加速

安装包镜像

测试官网很慢，淘宝云或者华为云的很快
下载：wget https://repo.huaweicloud.com/python/3.7.5/Python-3.7.5.tgz

解压：tar -xzvf Python-3.7.5.tgz
cd Python-3.7.5
mkdir /usr/local/python3

./configure –prefix=/usr/local/python3
make
make install

mv /usr/bin/python /usr/bin/python_old2

ln -s /usr/local/python3/bin/python3 /usr/bin/python

python -V

pip包镜像

[global]
index-url = https://repo.huaweicloud.com/repository/pypi/simple
trusted-host = repo.huaweicloud.com
timeout = 120

一、项目目的 weather.com.cn网站中提取24小时温度湿度等信息

originWeatherData

如上图，抓取完整中24小时的温度、湿度、降水量、风力风向四个数据。但是原始的数据存储在SVG矢量图中，里面存储的数据，是矢量绘图数据，不是原始的数据，不能直接获取。

相对的，上图中的Span中的数据可以通过Python直接获取。

EasyoriginWeatherData

二、网站分析

仔细阅读网站（实际我用了fiddler进行了网站分析），发现实际的数据，存储在图表显示上面的script代码中，命名为observe24h_data的变量中。

origin24hoursData

三、简单数据采集 热身

7日的数据，可以很容易在后台源码中找到，可以很容易使用beautiful soup库获取到

7WeatherData

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

#参考 https://blog.csdn.net/hepann44/article/details/77524782
import requests
from bs4 import BeautifulSoup

url = 'http://www.weather.com.cn/weather/101190101.shtml' # 数据地址,从浏览器(注意不同IP显示不同数据)copy  http://www.weather.com.cn/weather1d/101190101.shtml
header = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}
req = requests.get(url, headers=header)
req.encoding='utf-8'

soup = BeautifulSoup(req.text,'html.parser')
ul_tag= soup.find('ul','t clearfix') # 利用 css 查找 Return only the first child of this Tag matching the given criteria

li_tag = ul_tag.findAll('li')

for tag in li_tag:
    print(tag.find('h1')) # 时间tag
    print(tag.find('h1').string) # 时间
    print(tag.find('p','wea').string) # wiea
    print("高温：" + tag.find('p','tem').find('span').string)
    print("低温：" + tag.find('p', 'tem').find('i').string)
    print("_______________  ____________________")

输出：

1
2
3
4
5
6
7
8
9
10
11
12
13

<h1>1日（今天）</h1>
1日（今天）
多云
高温：5
低温：-2℃
_______________  ____________________
<h1>2日（明天）</h1>
2日（明天）
多云
高温：7
低温：0℃

...

 

四、 项目数据分析和转换

observe24h_data变量导出分析(JSON.cn的JSON数据分析)。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

{
    "od":{
        "od0":"20190101180000",//时间戳
        "od1":"南京",//城市
        "od2":[
            {
                "od21":"18",//小时
                "od22":"2",//温度
                "od23":"34",
                "od24":"东北风",//风向
                "od25":"2",//风力
                "od26":"0.0",//降水量
                "od27":"45",//相对湿度
                "od28":""//空气质量
            },
            {
                "od21":"17",
                "od22":"3",
                "od23":"20",
                "od24":"北风",
                "od25":"2",
                "od26":"0.0",
                "od27":"39",
                "od28":"60"
            },

observe24h_data的数据是倒序的，第一个数据是一天后的数据。
原始的天气数据转换成DICT的数据输出.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

def get_orgin_dic_data():
    url = 'http://www.weather.com.cn/weather/101190101.shtml' # 数据地址,从浏览器(注意不同IP显示不同数据)copy  http://www.weather.com.cn/weather1d/101190101.shtml
  header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
  }
    req = requests.get(url, headers=header)
    req.encoding = 'utf-8'
  soup = BeautifulSoup(req.text, 'html.parser')
    var24data = soup.findAll('script')[4].string
    print(var24data)
    # p = re.compile('var observe24h_data = (.*?);')
 # m = p.match(var24data)  
 rawdata = var24data.strip('\nvar observe24h_data = ').strip(';') # 获取原始JSON数据
  print(rawdata)
    #jd = json.loads(rawdata)  # 其变为json数据
 # print(jd['od'])  #  return json.loads(rawdata) ## 转成dict对象

 

五、数据保存

为了便于数据的分析和保存，数据统一存储到CSV文件。增加个CSV文件的Title，便于数据的理解。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

def write_data(data):
    with open("weatherdata.csv",'a',errors='ignore',newline='') as f :
        f_csv= csv.writer(f)
        f_csv.writerow(data)

First_Row_Data = []
First_Row_Data.append("城市")
First_Row_Data.append("读取时间戳")
First_Row_Data.append("时间（h）")
First_Row_Data.append("温度")
First_Row_Data.append("风向")
First_Row_Data.append("风力")
First_Row_Data.append("降水量")
First_Row_Data.append("相对湿度")

write_data(First_Row_Data)
weather_raw_24_data = get_orgin_dic_data()

 

数据倒序保存到CSV文件中。为了自动获取，每隔固定时间读取数据保存.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

while(True):
    for item in reversed(weather_raw_24_data["od"]["od2"]): # 数据倒序给出的
  row_data=[]
        row_data.append(weather_raw_24_data["od"]["od1"])
        row_data.append(weather_raw_24_data["od"]["od0"])
        row_data.append(item['od21'])
        row_data.append(item['od22'])
        row_data.append(item['od24'])
        row_data.append(item['od25'])
        row_data.append(item['od26'])
        row_data.append(item['od27'])
        write_data(row_data)
        # First_Row_Data.append("城市")
 # First_Row_Data.append("读取时间戳") # First_Row_Data.append("时间（h）") # First_Row_Data.append("温度") # First_Row_Data.append("风向") # First_Row_Data.append("风力") # First_Row_Data.append("降水量") # First_Row_Data.append("相对湿度")  print("【休息中……】")
    time.sleep(3600)

结果：
resultData

六、完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74

#参考 https://blog.csdn.net/u013063099/article/details/73467675 
#参考 https://blog.csdn.net/heshushun/article/details/77772408 
import requests
from bs4 import BeautifulSoup
# import re # 正则表达式模块,内置 
import json #JSON处理 内置 
import csv # 内置CSV包 
import time #内置time包   
def write_data(data):
    with open("weatherdata.csv",'a',errors='ignore',newline='') as f :
        f_csv= csv.writer(f)
        f_csv.writerow(data)

# 1.利用requests获取请求 、BeautifulSoup抓取数据。
# 2.Strip()函数简单处理函数； 
# 3.JSON库转换成JSON类 
def get_orgin_dic_data():
    url = 'http://www.weather.com.cn/weather/101190101.shtml' # 数据地址,从浏览器(注意不同IP显示不同数据)copy  http://www.weather.com.cn/weather1d/101190101.shtml
  header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
  }
    req = requests.get(url, headers=header)
    req.encoding = 'utf-8'
    soup = BeautifulSoup(req.text, 'html.parser')
    var24data = soup.findAll('script')[4].string
    print(var24data)
    # p = re.compile('var observe24h_data = (.*?);')
    # m = p.match(var24data)  
    rawdata = var24data.strip('\nvar observe24h_data = ').strip(';') # 获取原始JSON数据  print(rawdata)  #jd = json.loads(rawdata) # 其变为json数据  # print(jd['od']) # return json.loads(rawdata) ## 转成dict对象 rawdata = var24data.strip('\nvar observe24h_data = ').strip(';') 
   # 获取原始JSON数据
   print(rawdata)
   #jd = json.loads(rawdata)  # 其变为json数据
   # print(jd['od'])  
    return json.loads(rawdata) ## 转成dict对象   
First_Row_Data = []
First_Row_Data.append("城市")
First_Row_Data.append("读取时间戳")
First_Row_Data.append("时间（h）")
First_Row_Data.append("温度")
First_Row_Data.append("风向")
First_Row_Data.append("风力")
First_Row_Data.append("降水量")
First_Row_Data.append("相对湿度")

# write_data(First_Row_Data) 
weather_raw_24_data = get_orgin_dic_data()
print(weather_raw_24_data["od"]["od2"])
#print("获取到的原始天气数据：" +  weather_raw_24_data[od2]) 
#print(weather_raw_24_data["od"]["od2"])   
while(True):
    for item in reversed(weather_raw_24_data["od"]["od2"]): # 数据倒序给出的
      row_data=[]
      row_data.append(weather_raw_24_data["od"]["od1"])
      row_data.append(weather_raw_24_data["od"]["od0"])
      row_data.append(item['od21'])
      row_data.append(item['od22'])
      row_data.append(item['od24'])
      row_data.append(item['od25'])
      row_data.append(item['od26'])
      row_data.append(item['od27'])
      write_data(row_data)
      # First_Row_Data.append("城市")
     # First_Row_Data.append("读取时间戳") 
     # First_Row_Data.append("时间（h）") 
     # First_Row_Data.append("温度") 
     # First_Row_Data.append("风向") 
     # First_Row_Data.append("风力") 
     # First_Row_Data.append("降水量") 
     # First_Row_Data.append("相对湿度")  
   print("【休息中……】")
   time.sleep(3600)

待续：数据优化

读取的数据有许多重复的。待优化

davedeveloper
关注
专栏目录
java判断天气好坏_java如何获取某个区域里一天内天气变化数据
weixin_32226157的博客
02-24 203
这个observe24h_data就是一天的天气变化var observe24h_data = {"od":{"od0":"20171226160000","od1":"闵行","od2":[{"od21":"16","od22":"11","od23":"80","od24":"东风","od25":"0","od26":"0.0","od27":"27","od28":""},{"od21":...
python 城市降雨量爬取(数据爬取).zip
08-15
使用python爬取天气的数据，并将数据打印出来，主要数据为各个省会城市的降雨量，可以根据具体需求更改。本资源适合新手小白和在校学生，使用前请务必查看说明文档 #资源达人分享计划#
python3抓取http://www.weather.com.cn上的数据
jc_benben的专栏
12-18 681
抓取AQI，风速，风向等数据输出到控制台一例，请大家参考 # encoding=utf-8 #import requests 这是python2里的 import json import time #from urllib.request import urlopen 另一种用法 import urllib.request import urllib # 正则 import re #db ...
python3从www.weather.com.cn 获取城市AQI数据
jc_benben的专栏
12-24 952
环境： mysql+python3.5+pycharm sql脚本： CREATE TABLE `AQIHH` ( `CITYCODE` VARCHAR(12) NOT NULL, `DATATIME` DATETIME NOT NULL, `AQI` VARCHAR(20) DEFAULT NULL, `PM25` VARCHAR(20) DEFAULT NULL, ...
python 爬取http://www.weather.com.cn/中国主要城市周边城市的天气
BIEBIBIBI的博客
11-30 1745
编程实现自动爬取中国气象网站 http://www.weather.com.cn/气象数据，将中国主要城市 （北京 、上海 、广州 、杭州 、武汉 、南京 、深圳 、苏州 、厦门 、合肥 和成都  ）周边地区当天的最高温度和低爬取并显示，如针对网页显示成都周边地区气候数据如下图： # encoding=utf-8 import requests from bs4 import Beau...
Python-爬取中国天气网天气并通过邮箱定时发送
Co_zy的博客
06-13 1980
获取天气信息脚本如下,#!/usr/bin/python3 # -*- coding: utf-8 -*- import re import requests from bs4 import BeautifulSoup import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')r = r
Python爬虫解析笔记.md
08-27
url = f"https://www.weather.com.cn/weather/{city}.shtml" response = requests.get(url) content = response.text return content ``` 这里使用了字符串格式化`f-string`来构造URL。 ##### 4.3 解析网页...
python爬虫案例开发教程.docx
07-12
url = f'http://www.weather.com.cn/weather1d/{city}.shtml' headers = {'User-Agent': 'your user agent'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, '...
天气后报网爬虫及数据分析（python）
12-26
从天气后报网（http://www.tianqihoubao.com）中爬取绵阳市某一年的历史天气信息，包括每天最高气温、最低气温、天气状况、风向等，完成以下功能： （1）将获取的数据信息存储到“data.csv”文件中，每行数据格式为...
爬取天气预报
07-25
简单的爬取天气预报，并且数据存储在mysql里面
java程序预报天气的小例子
12-16
原理：通过HttpClient对象向中央气象台官网的城市天气查询服务页发送查询请求，获取响应后使用jsoup解析返回的html文档，将天气信息提取出来。使用时需要将附带的jar包添加到项目的classpath中。
基于python的网络爬虫爬取天气数据及可视化分析python大作业（源码+文档说明）高分项目
06-10
基于python的网络爬虫爬取天气数据及可视化分析python大作业（源码+文档说明）高分项目，高分项目期末大作业开发的97分高分设计项目，可作为高分课程设计和期末大作业的参考，含有代码注释小白也可看的懂，有能力的...
Python获取（实时、全天、六天）天气情况
记录
11-06 2890
Python2.7 获取（实时、全天、六天）天气情况 #conding:utf-8 # http://www.weather.com.cn/data/sk/101010100.html 实时 # http://www.weather.com.cn/data/cityinfo/101010100.html 全天 # http://m.weather.com.cn/data/10101
python爬虫项目之中国天气网的爬取终极版
逐梦人.的博客
04-10 2176
说明：此项目替代了我们每天从网页或者其他途径上看全国各地的气温情况(本项目只是爬取的全国各个地区的最低气温，其他扩展功能根据此项目来完善即可！！！) 我们先看一下非常人性化的结果： 用到的模块： requests pyecharts bs4 在这里必须说明一点（必做）：我们用到的python版本基本上会在3.6以上，所以在用到pyecharts中的Bar时候会出现问题；为了解决这个问题，作者也有具体的解决步骤：升级版本：仅支持 Python3.6+ cmd命令下执行下面的三条： 1. pip inst
Python爬取天气数据及可视化分析！
关注我！带你一路 "狂飙" 到底！
11-28 3832
上面这张是南方珠海的控制质量图，可以看出空气质量指数最大也是在健康范围，说明珠海空气非常好，分析可以发现这一天最高空气质量指数达到了35，最低则只有14，并且平均在25左右，通过时间也可以发现，基本在清晨的时候是空气最好的时候（4-9点），在下午是空气污染最严重的时候，所以清晨一般可以去外面呼吸新鲜的空气，那时污染最小。分析可以发现这一天最高温度为33℃，最低温度为28℃，并且平均温度在20.4℃左右，通过对时间分析，发现昼夜温差5℃，低温分布在凌晨，高温分布在中午到下午的时间段。
Python 实战：爬取并分析中国天气网数据
最新发布
2301_78150559的博客
08-10 1830
本教学文章将详细介绍如何使用Python来爬取中国天气网（http://www.weather.com.cn/）的天气数据，包括当天和未来14天的天气信息。我们将通过具体的步骤和代码示例，演示如何使用requests库发起HTTP请求，以及使用BeautifulSoup库解析HTML文档，最后使用pandas和matplotlib进行数据清洗、处理和可视化。
爬虫爬取实时天气：从Weather.com获取实时天气信息
sybh的博客
05-27 1053
实时天气信息对于生活、工作和出行都具有重要意义。在本篇博客中，我们将学习如何编写网络爬虫，从天气网站Weather.com获取实时天气信息。这些信息可以用于各种目的，如数据分析、可视化和提醒。在本篇博客中，我们学习了如何编写一个简单的天气爬虫，从Weather.com搜索结果页面获取实时天气信息，并将这些信息解析并展示给用户。这个示例展示了网络爬虫的基本原理和方法，可以作为实时天气爬虫的起点。未来，我们可以在这个基础上做更多的扩展。
爬虫实战之爬取中国天气网
热门推荐
weixin_38241876的博客
01-20 1万+
打开中国天气网：http://www.weather.com.cn/textFC/db.shtml对网页源代码做一个简单分析：                       import requests from bs4 import BeautifulSoup #网页的解析函数 def parse_page(url): headers = { 'User-Agen...
python爬虫爬取天气网站：http://www.weather.com.cn/textFC/hb.shtml
05-17
好的，以下是使用 Python 爬取天气网站的代码示例： ```python import requests from bs4 import BeautifulSoup url = 'http://www.weather.com.cn/textFC/hb.shtml' response = requests.get(url) response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'html.parser') table = soup.select_one('.conMidtab') trs = table.select('tr')[1:] for tr in trs: tds = tr.select('td') city = tds[0].text.strip() weather = tds[1].text.strip() temp = tds[2].text.strip() print(city, weather, temp) ``` 以上代码会输出该网站所有城市的天气信息，包括城市名、天气情况和温度。你可以根据需要进行修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值