美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/
气候数据的下载地址是:
长格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/,这种就是《hadoop权威指南》所使用的数据集格式。
短格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/
这两个地址是在网上查到的,从官网怎样找到,我没有发现。
浏览器打开这个网址以后,是以年份为目录的目录列表,从1901年开始,一直到今年,2019年。
每个目录里面是形如029070-99999-1901.gz这样的数据,数量不等,年份越晚,文件越多,应当是因为技术越来越发达,数据量也随之增大。
显然,这样的数据是不可能手工下载的,网上也没找到正确的下载地址,写个程序自己下吧。
参考了这篇文档https://blog.csdn.net/LIHUINIHAO/article/details/38315231,做了一些修改。此文档中的地址目前已无效,我将其改为ftp.ncdc.noaa.gov。
在开发环境中运行。
importsysimportosfrom ftplib importFTP#服务器链接
defftpconnect():
ftp_server= "ftp.ncdc.noaa.gov"usrname= ""password= ""ftp=FTP()
ftp.set_debuglevel(2) #打开调试级别2,显示详细信息
port=21time=30ftp.connect(ftp_server,port,time)
ftp.login(usrname,password)returnftp#开始下载文件
defdownloadfile():
ftp=ftpconnect()#print ftp.getwelcome() #显示ftp服务器欢迎信息
datapath = "/pub/data/noaa/isd-lite/"
#起始年份和终止年份,酌情修改
beginyear = 1934endyear= 1950
#year=int(sys.argv[1]) #年份循环
currentyear= beginyear #当前执行年份
#while year<=int(sys.argv[2]):
while currentyear <=int(endyear):
path= datapath +str(currentyear)
ftp.cwd('/pub/data/noaa/isd-lite/' + str(currentyear)) #li=ftp.nlst(path)#创建指定年份的目录
#path = sys.argv[3]+'/'
path = "weatherdata" + '/'dir=str(currentyear)
new_path=os.path.join(path, dir)if notos.path.isdir(new_path):
os.makedirs(new_path)for eachFile inli:
localpaths= eachFile.split("/")
localpath= localpaths[len(localpaths)-1]#localpath=new_path + '/'+ str(currentyear) + '--'+localpath#把日期放在最前面,方便排序
localpath=new_path + '/' + localpath #不必用日期排序,第一节是流水号,已自带排序功能
bufsize = 1024 #设置缓冲块大小
fp = open(localpath,'wb') #以写模式在本地打开文件
ftp.retrbinary('RETR' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
currentyear = currentyear+1ftp.set_debuglevel(0)#关闭调试
#fp.close()
ftp.quit() #退出ftp服务器
if __name__=="__main__":
downloadfile()