0. 前言
Python实战之天气预测
1. 爬取数据
这里使用request库和正则表达式进行数据的爬取
爬取网上的历史天气数据,这里我使用了成都的历史天气数据(2011-2018年)
之后的天气预测也将会使用成都的历史天气数据
这里说明:
由于数据存在缺失,2016年以前的空气质量数据没有找到
通过分析网址我们得到最后的数据都是存在于js文件中的。
1.1 构造日期:for year in range(2011, 2019):
for month in range(1, 13):
if month == 12 and year > 2016:
month = "%.2d".format() % month
url = "http://tianqi.2345.com/t/wea_history/js/" + str(year) + str(month) + "/56294_" + str(year) + str(
month) + ".js"
else:
url = "http://tianqi.2345.com/t/wea_history/js/56294_" + str(year) + str(month) + ".js"
print(url)
getData(url)
通过分析链接可以,在2016年以前,每个12月的链接和一般的链接是不一样的。
所以我们加上了判断语句,当然细心的小伙伴应该可以看到我们这里还会构造出2019年的链接,这个错误链接我们在后面获取数据的时候会进行处理,