Hadoop
文章平均质量分 80
放飞的心灵
这个作者很懒,什么都没留下…
展开
-
hadoop权威指南中的ncdc数据下载地址及命令
ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 命令: The data are available via: 1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html 2) FTP -- ftp://ftp.ncdc.noaa.gov/pub/data/gsod vi转载 2013-11-25 14:15:52 · 1017 阅读 · 0 评论 -
利用SQOOP将数据从数据库导入到HDFS
基本使用 如下面这个shell脚本: #Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralceTab转载 2013-12-04 15:25:17 · 753 阅读 · 0 评论 -
Sqoop安装及MySql数据导入HBase
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。(本文档中使用的是sqoop-1.4.2-cdh4.2.1版本) 为什么要使用sqoop 因为转载 2013-12-04 15:23:45 · 801 阅读 · 0 评论 -
Hadoop学习笔记_安装篇之一:Hadoop安装
(一) 安装Hadoop 1、 运行环境 1、RHEL5.4 kernel:2.6.18-164.el5 2、WMware Workstation 8.0.3 3、Hadoop-0.20.0和Hadoop-1.0.1 4、Hive-0.11 5、Sqoop-1.2.0-CDH3B4和Sqoop-1.4.4.bin__hadoop-1.0.0 6、Hbasee-原创 2014-03-05 14:30:27 · 824 阅读 · 0 评论 -
Hadoop学习笔记_安装篇之二:HIVE安装
1、 安装Hive cd /tools tar -zxvf hive-0.11.0.tar.gz mv hive-0.11.0 /usr/java/hive cd /usr/java/ chown -R hadoop:hadoop hive/ 2、 配置Hive (1) 增加HIVE_HOME原创 2014-03-05 14:35:21 · 911 阅读 · 0 评论 -
Hadoop学习笔记_操作篇之一:HDFS操作
1、 查看版本 hadoop version 2、 查看目录 hadoop fs -ls / hadoop fs -ls /user/hadoop 3、 创建目录 hadoop fs -mkdir /user/in 4、 删除目录 hadoop dfs -rmr test 5、 删除文件 hadoop fs -rm test.txt 6原创 2014-03-05 14:41:04 · 981 阅读 · 0 评论