Hadoop Definite Guide 气象数据来源:
部分数据:
https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all
推荐使用这里的部分数据,手动下载;
全部数据:
ftp://ftp.ncdc.noaa.gov/pub/data/gsod/
ftp-user: ftp
ftp-password: your email
下载数据方式:
wget ftp://IP:PORT/* --ftp-user=xxx --ftp-password=xxx -r
星号*必须有,否则下载下来的就一个文件
-r参数就是用来目录下载的
这里就是:
wget ftp://ftp.ncdc.noaa.gov/pub/data/gsod/* --ftp-user=ftp --ftp-password=myname@163.com -r
我下载下来的数据发现1901开头一些年数据为空,查看目标ftp发现数据也为空,做试验用的话,推荐第一个地址的部分数据。