python爬虫项目爬取天气信息

需要用到两个三方库

import requests
import pandas as pd

找到我们要爬取的网页，并发现，任意月份或者年份的网址都相同，是动态网页。

找到每点开一次月份或者年份，向网站服务器请求的信息，并进行分析。

设置要爬取的页面，以及反爬headers

url = 'https://tianqi.2345.com/Pc/GetHistory'
headers = {
            'user-agent': 'Mozilla/5.0'
}

定义爬取一页数据的函数：

def craw_table(year, month):
    params = {
                'areaInfo[areaId]': 56778,
                'areaInfo[areaType]': 2,
                'date[year]': year,
                'date[month]': month,
    }

    r = requests.get(url, headers=headers, params=params)
    data = r.json()['data']
    df = pd.read_html(data)[0]
    return df

循环爬取5年的数据，并将数据保存。

craw_list = []

for year in range(2015, 2020):
    for month in range(2, 10):
        df = craw_table(year, month)
        craw_list.append(df)

print(craw_list)
pd.concat(craw_list).to_excel("昆明5年天气.xlsx", index=False)