python是美国的吗_用Python下载美国国家气候数据中心（NCDC）的气候数据

美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/

气候数据的下载地址是：

长格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，这种就是《hadoop权威指南》所使用的数据集格式。

短格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/

这两个地址是在网上查到的，从官网怎样找到，我没有发现。

浏览器打开这个网址以后，是以年份为目录的目录列表，从1901年开始，一直到今年，2019年。

每个目录里面是形如029070-99999-1901.gz这样的数据，数量不等，年份越晚，文件越多，应当是因为技术越来越发达，数据量也随之增大。

显然，这样的数据是不可能手工下载的，网上也没找到正确的下载地址，写个程序自己下吧。

参考了这篇文档https://blog.csdn.net/LIHUINIHAO/article/details/38315231，做了一些修改。此文档中的地址目前已无效，我将其改为ftp.ncdc.noaa.gov。

在开发环境中运行。

importsysimportosfrom ftplib importFTP#服务器链接

defftpconnect():

ftp_server= "ftp.ncdc.noaa.gov"usrname= ""password= ""ftp=FTP()

ftp.set_debuglevel(2) #打开调试级别2，显示详细信息

port=21time=30ftp.connect(ftp_server,port,time)

ftp.login(usrname,password)returnftp#开始下载文件

defdownloadfile():

ftp=ftpconnect()#print ftp.getwelcome() #显示ftp服务器欢迎信息

datapath = "/pub/data/noaa/isd-lite/"

#起始年份和终止年份，酌情修改

beginyear = 1934endyear= 1950

#year=int(sys.argv[1]) #年份循环

currentyear= beginyear #当前执行年份

#while year<=int(sys.argv[2]):

while currentyear <=int(endyear):

path= datapath +str(currentyear)

ftp.cwd('/pub/data/noaa/isd-lite/' + str(currentyear)) #li=ftp.nlst(path)#创建指定年份的目录

#path = sys.argv[3]+'/'

path = "weatherdata" + '/'dir=str(currentyear)

new_path=os.path.join(path, dir)if notos.path.isdir(new_path):

os.makedirs(new_path)for eachFile inli:

localpaths= eachFile.split("/")

localpath= localpaths[len(localpaths)-1]#localpath=new_path + '/'+ str(currentyear) + '--'+localpath#把日期放在最前面，方便排序

localpath=new_path + '/' + localpath #不必用日期排序，第一节是流水号，已自带排序功能

bufsize = 1024 #设置缓冲块大小

fp = open(localpath,'wb') #以写模式在本地打开文件

ftp.retrbinary('RETR' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件

currentyear = currentyear+1ftp.set_debuglevel(0)#关闭调试

#fp.close()

ftp.quit() #退出ftp服务器

if __name__=="__main__":

downloadfile()