美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/
气候数据的下载地址是:
长格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/,这种就是《hadoop权威指南》所使用的数据集格式。
短格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/
这两个地址是在网上查到的,从官网怎样找到,我没有发现。
浏览器打开这个网址以后,是以年份为目录的目录列表,从1901年开始,一直到今年,2019年。
每个目录里面是形如029070-99999-1901.gz这样的数据,数量不等,年份越晚,文件越多,应当是因为技术越来越发达,数据量也随之增大。
显然,这样的数据是不可能手工下载的,网上也没找到正确的下载地址,写个程序自己下吧。
参考了这篇文档https://blog.csdn.net/LIHUINIHAO/article/details/38315231,做了一些修改。此文档中的地址目前已无效,我将其改为ftp.ncdc.noaa.gov。
在开发环境中运行。
import sys import os from ftplib import FTP #服务器链接 def ftpconnect(): ftp_server = "ftp.ncdc.noaa.gov