HBase与MapReduce

HBase API操作

MapReduce

通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，
比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。

》 1．查看HBase的MapReduce任务的执行使用哪些jar

$ bin/hbase mapredcp

》 2．环境变量的导入
（1）执行环境变量的导入（临时生效，在命令行执行下述操作）

$ export HADOOP_CLASSPATH='${HBASE_HOME}/bin/hbase mapredcp'

（2）永久生效：
并在hadoop-env.sh中配置：（注意：在for循环之后配）
Mapreduce需要读写Hbase中的数据，则Hadoop必须知道Hbase的jar

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

同步到其他节点

Mysync /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

由于修改了hadoop的配置信息，所以需要重启hadoop，zk,hbase

为了使用使用hbase shell方便，才在hadoop102的/etc/profile中 配置

##HABSE_HOME
export HABSE_HOME=/opt/module/hbase
export PATH=$PATH:$HABSE_HOME/bin

##HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

##ZK_HOME
export ZK_HOME=/opt/module/zookeeper-3.4.10
export PATH=$PATH:$ZK_HOME/bin

再使用scp复制到hadoop103,hadoop104

sudo scp  /etc/profile  root@hadoop103:/etc/
sudo scp  /etc/profile  root@hadoop104:/etc/

再在hadoop102,hadoop103,hadoop104上执行

source /etc/profile

运行案例

运行官方的MapReduce任务

案例一：统计Student表中有多少行数据

$ /opt/module/hadoop-2.7.2/bin/yarn jar /opt/module/hbase/lib/hbase-server-1.3.1.jar rowcounter student

运行结果

org.apache.hadoop.hbase.mapreduce.RowCounter$RowCounterMapper$Counters
                ROWS=2

案例二：使用MapReduce将本地数据导入到HBase

1）在本地创建一个tsv格式的文件：fruit.tsv

1001    Apple    Red
1002    Pear    Yellow
1003    Pineapple    Yellow

2）创建HBase表

hbase(main):001:0> create 'fruit','info'

3）在HDFS中创建input_fruit文件夹并上传fruit.tsv文件

$ /opt/module/hadoop-2.7.2/bin/hdfs dfs -mkdir /input_fruit/
$ /opt/module/hadoop-2.7.2/bin/hdfs dfs -put /opt/module/hbase/fruit.tsv /input_fruit/

4）执行MapReduce到HBase的fruit表中

$ /opt/module/hadoop-2.7.2/bin/yarn jar /opt/module/hbase/lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
hdfs://hadoop102:9000/input_fruit

5）使用scan命令查看导入后的结果

hbase(main):001:0> scan "fruit"