语言:python
工具:pycharm
需要导入的库:request、pandas、openpyxl、lxml
废话不多说,直接上代码:
#爬取北京市天气
url = "https://tianqi.2345.com/Pc/GetHistory"
#当headers中设置user agent反爬机制时
#需要单独设置User-Agent
#通过network抓包,分析ajax的请求和参数
#可以在相应的网页右键查看->network->headers->User-Agent中查看User-Agent
#因为User-Agent的值中可能带有引号,故这里用3个引号
headers = {
"User-Agent": """Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82"""
}
import requests
import pandas as pd
import openpyxl
#提取表格中的数据直接用pandas解析
#使用函数多次调用,从而获取多个页面数据
def craw_table(year,month):
#设置参数
params = {
"areaInfo[areaId]": 54511,
"areaInfo[areaType]": 2,
"date[year]": year,
"date[month]": month
}
#获取网页
resp = requests.get(url,headers=headers,params=params)
#转为data类型
data = resp.json()["data"]
#pandas能够解析网页中所有的表格,这里选第一个
#df - data frame
df = pd.read_html(data)[0]
return df
df_list = []
for year in range(2017,2023):
for month in range(1,13):
print("抓取:",year,month)
df = craw_table(year,month)
df_list.append(df)
#利用pandas实现excel的合并与保存
pd.concat(df_list).to_excel("北京5年天气.xlsx",index=False)