Hadoop ncdc数据下载

原创 2013年12月02日 16:43:27
#!/usr/bin/env bash
mkdir /home/cookies/data
for((i=1901;i<=2013;i++));
do
cd /home/cookies/data/
mkdir $i
cd $i
wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/$i/
cd pub/data/noaa/$i/
cp *.gz /home/cookies/data/$i
cd /home/cookies/data/
rm -r $i/pub/
done

hadoop ncdc数据下载方法

我在看《Hadoop权威指南》时,里面提供了NCDC天气数据样本,提供的下载链接是:点击打开链接,但是里面只提供了1901和1902这两年的数据,这未免也太少了点!完全称不上“BIG DATA”,于是...
  • liufeng1980423
  • liufeng1980423
  • 2014年09月02日 11:38
  • 6475

如何下载NCDC气象数据

Hadoop 权威指南中需要下载NCDC气象数据
  • LIHUINIHAO
  • LIHUINIHAO
  • 2014年07月31日 13:00
  • 3847

Hadoop权威指南 NCDC 天气数据样本下载

我在看《Hadoop权威指南》时,里
  • lzslywl
  • lzslywl
  • 2014年05月23日 11:07
  • 4614

NCDC 天气数据的预处理

“Hadoop: The Definitive Guild” 这本书的例子都是使用NCDC 天气数据的,但由于书的出版和现在已经有一段时间了,NCDC现在提供的原始数据结构已经有了一些变化,本文主要描...
  • MrCharles
  • MrCharles
  • 2015年12月31日 16:20
  • 2611

hadoop权威指南中的ncdc数据下载地址

如题:给出hadoop权威指南--NCDC1929-2011数据下载地址 ftp://ftp.ncdc.noaa.gov/pub/data/gsod/...
  • havedream_one
  • havedream_one
  • 2014年11月28日 09:41
  • 1604

怎样下载美国气象数据用于hadoop实验

安装FTP软件 Filezilla, 这是个非常常用的软件 。 在自己的计算机上建立一个文件夹,用于接收数据。 打开软件界面 ,把ncdc数据的ftp下载地址复制进去,即可。 ftp://ftp3...
  • u012598327
  • u012598327
  • 2015年04月06日 12:44
  • 2678

hadoop权威指南气象数据下载

如题:给出hadoop权威指南--NCDC1929-2011数据下载地址 ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 命令: ...
  • a6225301
  • a6225301
  • 2015年07月23日 21:46
  • 4152

附录C 准备NCDC气象数据(加解释)

附录C 准备NCDC气象数据 这里首先简要介绍如何准备原始气象数据文件,以便我们能用Hadoop对它们进行分析。如果打算得到一份数据副本供Hadoop处理,可按照本书配套网站(网址为http://w...
  • MrCharles
  • MrCharles
  • 2015年12月31日 18:34
  • 1437

Hadoop权威指南NCDC数据下载

for i in {1901..2013} do cd /home/zhangyang/ncdc/ wget -r -np -nH .cut-dirs=3 -R index.html http://f...
  • kaka20080622
  • kaka20080622
  • 2013年12月09日 21:24
  • 723

Hadoop基础教程-第6章 MapReduce入门(6.5 温度统计)(草稿)

第6章 MapReduce6.5 MapReduce应用6.5.1 温度统计《HADOOP权威指南 第3版 》教程中有个经典例子,既是温度统计。作者Tom White在书中写了程序和讲解了原理,认为读...
  • chengyuqiang
  • chengyuqiang
  • 2017年06月02日 08:43
  • 1567
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop ncdc数据下载
举报原因:
原因补充:

(最多只允许输入30个字)