Python爬虫——爬取近3个月绵阳市降水量数据源

---

前言

😽爬取近3个月绵阳市的降水量数据，并存储在xlsx文档中。利用xpath和re爬虫技术获取数据，利用pandas把数据存储到xlsx文档中。

---

⚠️提示：爬虫不可用作违法活动，爬取时要设定休眠时间，不可过度爬取，造成服务器宕机，需付法律责任！！！

一、基本目标

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、使用步骤

1.进行分析

😿打开中国天气网的数据，发现只有40天的选项里能更全面的显示降水量，但是只能显示一个月的，我需要找到其他月份的数据

😹发现这边可以选择月份，初步认为当我选择月份的时候，会触发某些函数事件而返回数据。打开开发者工具，准备查看网络数据。

👺点击其他月份，出现了几个html的网络数据，点击Preview查看发现是具体的天气各项数据，包含日期、温度、降水、黄历等等信息。

2.整体代码

import requests
import json
import pandas as pd

# 结果集合
result_list = []
for i in range(2,6):
    # 待爬取的url
    url = "http://d1.weather.com.cn/calendar_new/2022/101270401_20220"+(str)(i)+".html"
    # 反反爬headers
    headers = {
        "Referer": "http://www.weather.com.cn/",
        "Connection": "keep-alive",
        "Content-Encoding": "gzip",
        "Content-Type": "text/html",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36",
        "Cookie": "f_city=%E5%8D%97%E5%AE%81%7C101300101%7C; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1654830903,1654838893,1654956338; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1654957148",
        "Accept-Encoding": "gzip, deflate",
        "Accept-Language": "zh-CN,zh;q=0.9"
    }
    # 爬取
    resp = requests.get(url=url, headers=headers)
    resp.encoding = 'utf-8'
    # 数据字符串
    data_str = resp.text[11:]
    # 转json，变数据集合
    data_list = json.loads(data_str)
    # 循环数据集合，获取数据
    for data in data_list:
        data['城市'] = '绵阳'
        rain = data['hgl']
        date = data['date']
        result = {}
        result['城市'] = '绵阳'
        result['降水概率'] = rain
        result['日期'] = date
        result_list.append(result)
print(result_list)
# pandas写入excel
data = pd.DataFrame(result_list)
writer = pd.ExcelWriter('降雨.xlsx')		# 写入Excel文件
data.to_excel(writer, 'page_1', float_format='%.5f')
writer.save()
print("结束！")

---

结果

🐑程序运行结果如下

🐘存储的xlsx文档如下

---

总结

爬虫的基本步骤：
1.检查有没有反爬，设置常规反反爬，User-Agent和referer都是最常见的反爬手段
2.利用xpath和re技术进行定位，定位后获取想到的数据即可
3.pandas写入数据到xlsx文档
4.注意设置time休眠