Python爬取2345天气网

一、基于Python面向对象实现

    

目录

一、基于Python面向对象实现

二、以下是全部完整代码

---

前言

天气预报大家都会关注，但是怎么获取天气预报的数据就是难点了，不可能一点一点的复制把，接下来就将告诉你们这样爬取某天气网站

首先，请求该2345网站地址，该网站没什么反爬机制，但是天气历史数据不在页面源代码里，属于动态数据，需要抓包得到数据，打开检查，点击网络，选中xhr，刷新页面就能抓到一下这个包，下图就是该包响应的数据。

​

1.导包

# coding=utf-8
import requests
import re
import csv

2.先创建一个天气预报(WeatherForecast)类，再创建一个类方法，定义我们的类属性，其中self.url是抓包得到的链接地址，self.headers是伪装成浏览器，self.data_list是定义的一个空列表

class WeatherForecast(object):
    def __init__(self):
        self.url = 'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=59493&areaInfo%5BareaType%5D=2&date%5Byear%5D={0}&date%5Bmonth%5D={1}'
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.24',
            'accept-encoding': 'gzip, deflate, br'
        }
        self.data_list=[]

3.定义get_content方法来发送请求获取数据，这里如果是请求text和content得到的响应均是二进制数据,所以我们请求json得到响应是文本内容

    def get_content(self,url):
        res = requests.get(url=url,headers=self.headers)
        content = res.json()
        # print(content['data'])
        return content['data']

4.定义parse_data方法,使用re解析来解析日期，最高气温，最低气温，天气，风力风向，空气质量这些字段，因为得到的是迭代器，所以需要遍历，然后将数据添加在之前定义的data_list这个空列表里面

    def parse_data(self,content):
        result = re.compile(r'<td>(?P<date>.*?)</td>.*?<td style="color:#ff5040;">(?P<max>.*?)</td>'
                            r'.*?<td style="color:#3097fd;" >(?P<min>.*?)</td>.*?<td>(?P<weather>.*?)</td>'
                            r'.*?<td>(?P<cloud>.*?)</td>.*?<td><span class="history-aqi wea-aqi.*?>(?P<sky>.*?)</span></td>',
                            re.S)
        find_result = result.finditer(content)
        for it in find_result:
            data_dict=it.groupdict()
            # print(data_dict)
            self.data_list.append(data_dict)
        return self.data_list

5.定义write_csv方法，将数据写入csv文件里，并将字段名写在第一行

    def write_csv(self,data_list):
        with open('./SenZheng.csv','w')as f:
            writer=csv.writer(f)
            writer.writerow(['日期','最高温度','最低温度','天气','风力风向','空气质量'])
            for i in data_list:
                writer.writerow(i.values())
                print(i.values())

6.定义运行方法，用年份和月份来实现翻页功能，并将之前定义的各个功能函数进行调用

    def run(self):
        for year in range(2019, 2022, 1):
            for month in range(1, 13, 1):
                url = self.url.format(year, month)
                print('正在爬取第{0}年{1}月的天气!'.format(year, month))
                content = self.get_content(url)
                data=self.parse_data(content)
                self.write_csv(data)
            print('全部爬取完毕!')

7.创建实例对象（weather）来调用WeatherForecast()类，并调用运行方法

if __name__ == '__main__':
    weather = WeatherForecast()
    weather.run()

二、以下是全部完整代码

# coding=utf-8
import requests
import re
import csv

class WeatherForecast(object):
    def __init__(self):
        self.url = 'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=59493&areaInfo%5BareaType%5D=2&date%5Byear%5D={0}&date%5Bmonth%5D={1}'
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.24',
            'accept-encoding': 'gzip, deflate, br'
        }
        self.data_list=[]

    def get_content(self,url):
        res = requests.get(url=url,headers=self.headers)
        content = res.json()
        # print(content['data'])
        return content['data']

    def parse_data(self,content):
        result = re.compile(r'<td>(?P<date>.*?)</td>.*?<td style="color:#ff5040;">(?P<max>.*?)</td>'
                            r'.*?<td style="color:#3097fd;" >(?P<min>.*?)</td>.*?<td>(?P<weather>.*?)</td>'
                            r'.*?<td>(?P<cloud>.*?)</td>.*?<td><span class="history-aqi wea-aqi.*?>(?P<sky>.*?)</span></td>',
                            re.S)
        find_result = result.finditer(content)
        for it in find_result:
            data_dict=it.groupdict()
            # print(data_dict)
            self.data_list.append(data_dict)
        return self.data_list

    def write_csv(self,data_list):
        with open('./SenZheng.csv','w')as f:
            writer=csv.writer(f)
            writer.writerow(['日期','最高温度','最低温度','天气','风力风向','空气质量'])
            for i in data_list:
                writer.writerow(i.values())
                print(i.values())

    def run(self):
        for year in range(2019, 2022, 1):
            for month in range(1, 13, 1):
                url = self.url.format(year, month)
                print('正在爬取第{0}年{1}月的天气!'.format(year, month))
                content = self.get_content(url)
                data=self.parse_data(content)
                self.write_csv(data)
            print('全部爬取完毕!')


if __name__ == '__main__':
    weather = WeatherForecast()
    weather.run()