hadoop
whxhz80
这个作者很懒,什么都没留下…
展开
-
利用sqoop将mysql数据同步到hive
1.下载 http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz2.下载 http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz3.解压 24.复制3里hadoop-core-0.20.2-CDH3B4.jar到sqoop的lib下5....原创 2012-07-24 21:26:40 · 493 阅读 · 0 评论 -
使用Ant编译Hadoop eclipse插件
http://xiaoruoen.blog.51cto.com/4828946/872274下载Hadoop的release, http://labs.renren.com/apache-mirror/hadoop/common/ 下载ant,http://labs.renren.com/apache-mirror/ant/binaries/ 将Ant解压至硬盘上,比如D:\ant...原创 2012-07-27 13:16:51 · 84 阅读 · 0 评论 -
Hadoop源代码eclipse编译教程
hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译、打包。下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译。 因项目使用的hadoop版本是0.20.2,所以我们基于hadoop-0.20.2来进行二次开发。 (1)首先从svn上签出...原创 2012-07-27 13:16:31 · 189 阅读 · 0 评论 -
eclipse3.7.2配置hadoop1.0.3插件
[url]http://blog.csdn.net/yaoyaminaco/article/details/7655437[/url] 1. 安装插件准备程序:eclipse-3.7.2hadoop-1.0.3-eclipse-plugin.jar将hadoop-1.0.3-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclip...原创 2012-07-26 14:57:39 · 106 阅读 · 0 评论 -
利用SQOOP将数据从数据库导入到HDFS(没有整形主键的解决)
基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceT...原创 2012-07-26 13:25:55 · 716 阅读 · 0 评论 -
hbase基本概念和hbase shell常用命令用法
http://www.cnblogs.com/flying5/archive/2011/09/15/2178064.html原创 2012-07-26 13:04:53 · 68 阅读 · 0 评论 -
使用sqoop将MySQL数据库中的数据导入Hbase
1.下载以下三个包: sqoop-1.2.0-CDH3B4.tar hadoop-0.20.2-CDH3B4.tar mysql-connector-java-5.1.18.tar2.解压sqoop包,配置/etc/profile的 SQOOP_HOME为解压位置 在PATH里加上$SQOOP_HOME/bin 新建ZOOKEEPER_HOME为HBASE里zookee...原创 2012-07-26 12:37:34 · 438 阅读 · 0 评论 -
HBASE SHELL 常用命令
说明:新版hbase取消了对HQL的支持,只能使用shell 命令:disable 'tableName' --disable表。注:修改表结构时,必须要先disable表。命令:enable 'tableName' --使表可用命令:drop 'tableName' --删除表 HBase基本命令下面我们再看看看HBase的一些基本操作...原创 2012-07-26 11:58:49 · 91 阅读 · 0 评论 -
Hadoop 解除 "Name node is in safe mode"
运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧(至少我运行的时候是这样的) 那我们来分析下这个错误,从字面上来理解: Name node is in sa...原创 2012-07-25 19:37:18 · 85 阅读 · 0 评论 -
Hadoop+Hbase安装配置实录(hadoop1.0.3, hbase 0.94.0)
生产环境:3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2操作系统:rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1...原创 2012-07-25 16:38:53 · 136 阅读 · 0 评论 -
使用java api操作Hadoop文件
<1>. 文件操作 1.1 上传本地文件到文件系统 /* * upload the local file to the hds * notice that the path is full like /tmp/test.c */ public static void uploadLocalFile2HDFS(St...原创 2012-07-28 16:44:04 · 126 阅读 · 0 评论