爬取100多个城市的历史天气

最新推荐文章于 2024-12-21 16:45:01 发布

巫巫9

最新推荐文章于 2024-12-21 16:45:01 发布

阅读量1.3k

点赞数

文章标签：数据库数据挖掘 python

本文链接：https://blog.csdn.net/weixin_44625028/article/details/121517699

版权

本文介绍了如何使用Python爬取包括三亚、三门峡、上海、上饶、东莞、东营等在内的多个城市的天气历史数据。首先，从数据源中获取并处理城市名称，注意到2345天气中的城市名不包含“市”。然后，匹配城市ID以便进一步获取数据，并对降雨量进行特殊标记，最后执行实际的天气数据爬取操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
import numpy as np
import re
import os
import json
#import js2py
import requests
from bs4 import BeautifulSoup
from urllib.parse import urlencode
import time   #用于时间的停顿
import random

接着取出想要爬取的城市名

file = pd.read_csv(r'C:\Users\信息明细表.csv').loc[:,['service_date','city','service_result']]
city_name = list(file.groupby('city').city.count().index)
city_name

output:
[‘三亚市’,
‘三门峡市’,
‘上海市’,
‘上饶市’,
‘东莞市’,
‘东营市’,
…]
由于发现2345天气的城市不带“市”，所以去掉

city=[]
for i in city_name:
    r = re.sub('市', '', i) 
    city.append(r)

找出城市对应的ID

def get_areaid(city):
    url = 'http://tianqi.2345.com/tqpcimg/tianqiimg/theme4/js/citySelectData2.js'
    r = requests.get(url)
    print(r.encoding, r.apparent_encoding)
    r.encoding = r.apparent