天气爬取

最新推荐文章于 2024-10-09 17:22:23 发布

bhcgdh

最新推荐文章于 2024-10-09 17:22:23 发布

阅读量1k

点赞数

分类专栏： python爬虫文章标签：天气数据爬虫 api

本文链接：https://blog.csdn.net/bhcgdh/article/details/93386943

版权

本文介绍如何通过一个公开API获取2000多个城市的天气信息，包括当日及未来15天的天气数据。数据处理分为三个步骤：获取城市信息、解析JSON数据并转换为DataFrame格式，最后将处理后的数据存入数据库。需要注意的是，频繁调用可能被封号，建议在特定时间间隔进行，并使用城市代号文件。

摘要由CSDN通过智能技术生成

根据https://www.sojson.com/blog/305.html（非常感谢该楼主的无私奉献）网站提供的api,调取天气数据，
（1）该网站提供2000多个城市天气查询。
（2）提供数据基本为当日，未来15天，以及前一天一共17天的天气数据。存在少量城市地区无法获取数据。
（3）历史一天，当天，未来5天天气的字段是不同，我将其分别存储。
（4）频繁多次调用小心封号，我是设置了随机sleep数字，一次调所有的城市将近3小时吧，作者也提供建议调用的时间：
天气更新时间为每天的：3点,8点,13点,19点，所以建议不要凌晨去获取，加上CDN有1个小时的缓存，建议4点,9点,14点,20点后获取。
（5）网站中的城市代号在上述网页中下载，存为json格式。

1 获取城市信息

def citys():
    city_file =open( r"你电脑保留的绝对路径\city.json", encoding='utf-8')
    res = city_file.read()
    df = json.loads(res)
    dfs = pd.DataFrame(df)
    dfs2 = dfs[dfs['city_code']!=''].reset_index(drop=True)
    url01 = 'http://t.weather.sojson.com/api/weather/city/'
    dfs2['url'] =  &#