下载《Hadoop权威指南》的气象数据

下载《Hadoop权威指南》的气象数据

#! /usr/bin/env bash
for i in {1903..2000}
do
	 wget -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/$i
done

亲测可以运行，这样就可以先down到linux机器上，用awk跑一遍。然后再传到hdfs上，用mapreduce再跑一遍。

wget的“-r” 为递归下载方式。