Hadoop ncdc数据下载

原创 2013年12月02日 16:43:27
#!/usr/bin/env bash
mkdir /home/cookies/data
for((i=1901;i<=2013;i++));
do
cd /home/cookies/data/
mkdir $i
cd $i
wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/$i/
cd pub/data/noaa/$i/
cp *.gz /home/cookies/data/$i
cd /home/cookies/data/
rm -r $i/pub/
done

Hadoop权威指南 NCDC 天气数据样本下载

我在看《Hadoop权威指南》时,里
  • lzslywl
  • lzslywl
  • 2014年05月23日 11:07
  • 4315

Hadoop分析NCDC气象数据

气象数据准备:1. 下载1993年到2003年每年的部分气象数据ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/2. 下载的文件格式是*.gz,用zcat命令将其解压并上...

hadoop-hive查询ncdc天气数据实例

使用hive查询ncdc天气数据 在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果。 1. 在hive中创建ncd...

NCDC 天气数据的预处理

“Hadoop: The Definitive Guild” 这本书的例子都是使用NCDC 天气数据的,但由于书的出版和现在已经有一段时间了,NCDC现在提供的原始数据结构已经有了一些变化,本文主要描...

ncdc气象数据格式介绍

简介   ISD-Lite 数据data contain a fixed-width formatted subset of thecomplete Integrated Surface Da...

附录C 准备NCDC气象数据(加解释)

附录C 准备NCDC气象数据 这里首先简要介绍如何准备原始气象数据文件,以便我们能用Hadoop对它们进行分析。如果打算得到一份数据副本供Hadoop处理,可按照本书配套网站(网址为http://w...

Hadoop大数据视频教程全集下载

  • 2016年08月20日 00:27
  • 30KB
  • 下载

【备忘】大数据开发之hadoop工程师成长之路零基础到精通下载

设置Hadoop入门与精通这门课程的初衷:        Hadoop技术本身并不是新技术,而是互联网时代成就了它,互联网产生了大量的数据,传统的服务器解决方案成本太高,Hadoop分布式处...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop ncdc数据下载
举报原因:
原因补充:

(最多只允许输入30个字)