如何执行hbase 的mapreduce job

最新推荐文章于 2023-04-16 03:45:52 发布

buster2014

最新推荐文章于 2023-04-16 03:45:52 发布

阅读量914

点赞数

分类专栏： hadoop hadoop应用 hbase

hadoop 同时被 3 个专栏收录

59 篇文章 0 订阅

订阅专栏

hadoop应用

33 篇文章 0 订阅

订阅专栏

hbase

14 篇文章 0 订阅

订阅专栏

本文详细介绍了执行HBaseMapReduce的两种方法：使用Hadoop命令和HBase命令执行MapReduceJob。其中，使用HBase命令执行的方式被认为更好，因为它避免了相互依赖的问题。文章还提供了具体的操作步骤和注意事项。

摘要由CSDN通过智能技术生成

http://blog.csdn.net/xiao_jun_0820/article/details/28636309

执行hbase mapreduce的两种方法：
1 使用hadoop命令执行mapreduce job.
采用此方式需要修改hadoop-env.sh,将hbase相关的jar包加入到HADOOP_CLASSPATH中去，写法如下：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2-cdh4.2.2-security.jar

然后hadoop jar youjar.jar youclass in out来执行job,不然会报找不到hbase相关的类。

2 使用hbase 命令执行mapreduce job.
采用此方法需要修改hbase-env.sh,将你的job jar包加入到HBASE_CLASSPATH中去，写法如下：
export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:/home/hadoop/workspace/HFIleGenerator.jar

然后通过hbase youclass in out来执行job.

我觉得第二种方式比较好一些，第一种有点相互依赖的感觉了。
注意 youclass必须写类的全路径名。