网络爬虫实例

语言：python

工具​：pycharm

​需要导入的库：request、pandas、openpyxl、lxml

废话不多说，直接上代码：

#爬取北京市天气
url = "https://tianqi.2345.com/Pc/GetHistory"

#当headers中设置user agent反爬机制时
#需要单独设置User-Agent
#通过network抓包，分析ajax的请求和参数
#可以在相应的网页右键查看->network->headers->User-Agent中查看User-Agent
#因为User-Agent的值中可能带有引号，故这里用3个引号
headers = {
    "User-Agent": """Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82"""
}

import requests
import pandas as pd
import openpyxl
#提取表格中的数据直接用pandas解析

#使用函数多次调用，从而获取多个页面数据
def craw_table(year,month):
    #设置参数
    params = {
        "areaInfo[areaId]": 54511,
        "areaInfo[areaType]": 2,
        "date[year]": year,
        "date[month]": month
    }
    #获取网页
    resp = requests.get(url,headers=headers,params=params)
    #转为data类型
    data = resp.json()["data"]
    #pandas能够解析网页中所有的表格，这里选第一个
    #df - data frame
    df = pd.read_html(data)[0]
    return df

df_list = []
for year in range(2017,2023):
    for month in range(1,13):
        print("抓取：",year,month)
        df = craw_table(year,month)
        df_list.append(df)

#利用pandas实现excel的合并与保存
pd.concat(df_list).to_excel("北京5年天气.xlsx",index=False)