首先，需要做的准备环境配置：
先进入到hadoop的配置文件下的hadoop-en.sh文件添加参数
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop/module/hbase-1.3.1/lib/*
添加参数如图所示：
配置完毕之后，我们需要关闭hadoop的所有的服务，重新启动，执行命令如下：
[root@hadoop105 hadoop]# stop-all.sh
[root@hadoop105 hadoop]# start-all.sh
关闭hbase服务，重新启动：
[root@hadoop105 hbase-1.3.1]# bin/stop-hbase.sh
[root@hadoop105 hbase-1.3.1]# bin/start-hbase.sh
进入hbase的客户端服务：
[root@hadoop105 hbase-1.3.1]# bin/hbase shell
#查看数据表有哪些
hbase(main):001:0> list
TABLE
atguigu:student
atguigu:user
student
3 row(s) in 0.4370 seconds
=> ["atguigu:student", "atguigu:user", "student"]
hbase(main):002:0>
#查看student数据表有几条数据（结果2条数据）
hbase(main):005:0> count 'student'
2 row(s) in 0.0380 seconds
=> 2
1、运行官方的MapReduce任务
（1）案例一：统计Student表中有多少行数据
[root@hadoop105 hbase-1.3.1]# /usr/local/hadoop/module/hadoop-2.7.2/bin/yarn jar ./lib/hbase-server-1.3.1.jar rowcounter student
#打印出数据有2条
org.apache.hadoop.hbase.mapreduce.RowCounter$RowCounterMapper$Counters
ROWS=2
（2）案例二：使用MapReduce将本地数据导入到HBase
首先，在本地创建一个tsv格式的文件：fruit.tsv
编辑文本，添加数据：
[root@hadoop105 hbase-1.3.1]# touch fruit.tsv
[root@hadoop105 hbase-1.3.1]# vim fruit.tsv
1001 Apple Red
1002 Pear Yellow
1003 Pineapple Yellow
接下来，我们把这个数据上传到HDFS的根目录上
[root@hadoop105 hbase-1.3.1]# hadoop fs -put fruit.tsv /
上传进来了
（3）执行MapReduce到HBase的fruit表中
[root@hadoop105 hbase-1.3.1]# /usr/local/hadoop/module/hadoop-2.7.2/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
hdfs://hadoop105:9000/fruit.tsv
执行后出错：
解决方法：创建fruit这张表
hbase(main):006:0> create 'fruit','info'
0 row(s) in 2.6830 seconds
=> Hbase::Table - fruit
hbase(main):007:0>
重新执行：
[root@hadoop105 hbase-1.3.1]# /usr/local/hadoop/module/hadoop-2.7.2/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
hdfs://hadoop105:9000/fruit.tsv
这样表示任务提交进来了
查看当前数据：
#查看当前数据表有哪些
hbase(main):007:0> list
TABLE
atguigu:student
atguigu:user
fruit
student
4 row(s) in 0.0720 seconds
=> ["atguigu:student", "atguigu:user", "fruit", "student"]
#扫描fruit数据表（使用scan命令查看导入后的结果）
hbase(main):008:0> scan 'fruit'
ROW COLUMN+CELL
1001 column=info:color, timestamp=1579890743538, value=Red
1001 column=info:name, timestamp=1579890743538, value=Apple
1003 column=info:color, timestamp=1579890743538, value=Yellow
1003 column=info:name, timestamp=1579890743538, value=Pineapple
2 row(s) in 0.3170 seconds
欧克！hadoop与MR交互没问题
2、自定义HBase-MapReduce1
目标：将fruit表中的一部分数据，通过MR迁入到fruit_mr表中。
分步实现：
项目工程构建：
代码编写：
FruitMapper.java
具体代码实现：
package com.study.mrl;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class FruitMapper extends TableMapper<ImmutableBytesWritable, Put> {
@Override
protected void map(ImmutableBytesWritable key, Result value, Context context) throws
IOException, InterruptedException {
//构建Put对象
Put put=new Put(key.get());
//遍历数据
Cell[] cells = value.rawCells();
for (Cell cell :cells){
if("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){
put.add(cell);
}
}
context.write(key,put);
}
}
FruitReducer.java
具体代码实现：
package com.study.mrl;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;
import java.io.IOException;
public class FruitReducer extends TableReducer <ImmutableBytesWritable, Put, NullWritable>{
@Override
protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws
IOException, InterruptedException {
//遍历写出
for (Put value:values){
context.write(NullWritable.get(),value);
}
}
}
FruitDriver.java
具体代码实现：
package com.study.mrl;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class FruitDriver extends Configuration implements Tool {
private Configuration configuration=null;
public int run(String[] args) throws Exception {
//获取任务对象
Job job = Job.getInstance(configuration);
//指定driver类
job.setJarByClass(FruitDriver.class);
//指定Mapper
TableMapReduceUtil.initTableMapperJob("fruit",
new Scan(),
FruitMapper.class,
ImmutableBytesWritable.class,
Put.class,
job);
//指定Reducer
TableMapReduceUtil.initTableReducerJob("fruit_mr",
FruitReducer.class,
job);
//提交
boolean b = job.waitForCompletion(true);
return b?0:1;
}
public void setConf(Configuration conf) {
this.configuration= conf;
}
public Configuration getConf() {
return null;
}
public static void main(String[] args) throws Exception {
Configuration configuration = HBaseConfiguration.create();
int i = ToolRunner.run(configuration, new FruitDriver(), args);
}
}
3、自定义MR打包测试
步骤图：
自己是把打包好的文件上传到/usr/local/hadoop/module/hbase-1.3.1文件下：
执行命令之前需要创建表：fruit_mr
hbase(main):009:0> create 'fruit_mr','info'
0 row(s) in 3.1550 seconds
=> Hbase::Table - fruit_mr
执行命令：
[root@hadoop107 hbase-1.3.1]# /usr/local/hadoop/module/hadoop-2.7.2/bin/yarn jar HB20201024-1.0-SNAPSHOT.jar com.study.mrl.FruitDriver
.......
Physical memory (bytes) snapshot=306782208
Virtual memory (bytes) snapshot=4175613952
Total committed heap usage (bytes)=141197312
HBase Counters
.........
.........
执行成功！
接下来扫描数据：
#从没有数据到 有数据
hbase(main):010:0> scan 'fruit_mr'
ROW COLUMN+CELL
1001 column=info:name, timestamp=1579890743538, value=Apple
1003 column=info:name, timestamp=1579890743538, value=Pineapple
2 row(s) in 0.2820 seconds
4、自定义HBase-MapReduce2
目标：实现将HDFS中的数据写入到HBase表中。
分步实现：
项目工程构建：
代码编写：
HDFSMapper.java
具体代码实现：
package com.study.mr2;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
public class HDFSMapper extends Mapper<LongWritable, Text, NullWritable, Put> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//获取一行数据
String line = value.toString();
//切割
String[] split = line.split("\t");
//封装Put对象
Put put = new Put(Bytes.toBytes(split[0]));
put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(split[1]));
put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("color"),Bytes.toBytes(split[2]));
//写出去
context.write(NullWritable.get(),put);
}
}
HDFSReducer.java
具体代码实现：
package com.study.mr2;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;
import java.io.IOException;
public class HDFSReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {
@Override
protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws
IOException, InterruptedException {
//遍历写出
for (Put value:values){
context.write(NullWritable.get(),value);
}
}
}
HDFSDriver.java
具体代码实现：
package com.study.mr2;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class HDFSDriver extends Configuration implements Tool {
private Configuration configuration=null;
public int run(String[] args) throws Exception {
//获取Job对象
Job job = Job.getInstance(configuration);
//设置主类
job.setJarByClass(HDFSDriver.class);
//设置Mapper
job.setMapperClass(HDFSMapper.class);
job.setMapOutputKeyClass(NullWritable.class);
job.setMapOutputValueClass(Put.class);
//设置Reducer
TableMapReduceUtil.initTableReducerJob("fruit2",
HDFSReducer.class,
job);
//设置输入路径
FileInputFormat.setInputPaths(job,args[0]);
//提交
boolean result = job.waitForCompletion(true);
return result?0:1;
}
public void setConf(Configuration conf) {
configuration=conf;
}
public Configuration getConf() {
return configuration;
}
public static void main(String[] args) throws Exception {
Configuration configuration = HBaseConfiguration.create();
int i = ToolRunner.run(configuration, new HDFSDriver(), args);
System.exit(i);
}
}
以上，从上往下的代码就是已经编写完毕了！
接下来就是打包测试：
操作步骤：
自己是上传（Hadoop05）/usr/local/hadoop/module/hbase-1.3.1目录下，由于在案例1的时候曾打包过一次并也上传到同一目录文件下，当我们上传新的打包文件时，它会默认把旧的文件jar包覆盖的
上传完毕后，我们需要做的准备工作：
（1）在HBase的客户端服务下需要创建一个fruit2数据表
hbase(main):001:0> create 'fruit2','info'
0 row(s) in 3.1430 seconds
=> Hbase::Table - fruit2
hbase(main):002:0>
（2）启动执行命令：（后缀：加主类名）
[root@hadoop105 hbase-1.3.1]# /usr/local/hadoop/module/hadoop-2.7.2/bin/yarn jar HB20201024-1.0-SNAPSHOT.jar com.study.mr2.HDFSDriver /fruit.tsv
#执行过程中
..............
..............
20/01/25 13:52:54 INFO mapreduce.Job: map 0% reduce 0%
出现错误：
20/01/25 15:16:56 INFO mapreduce.Job: Task Id : attempt_1579885487432_0014_r_000000_1, Status : FAILED
Error: java.lang.ClassCastException: org.apache.hadoop.io.NullWritable cannot be cast to org.apache.hadoop.hbase.io.ImmutableBytesWritable
如图：
启动成功的话，是由数据的
5、HBase与Hive的集成
HBase与Hive的对比
5.1 Hive
(1) 数据仓库
Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。
(2) 用于数据分析、清洗
Hive适用于离线的数据分析和清洗，延迟较高。
(3) 基于HDFS、MapReduce
Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。
5.2 HBase
(1) 数据库
是一种面向列存储的非关系型数据库。
(2) 用于存储结构化和非结构化的数据
适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。
(3) 基于HDFS
数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。
(4) 延迟较低，接入在线业务使用
面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。
7、HBase与Hive集成使用
尖叫提示： HBase与Hive的集成在最新的两个版本中无法兼容。所以，我们只能含着泪勇敢的重新编译：hive-hbase-handler-1.2.2.jar！！好气！！
环境准备
因为我们后续可能会在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar，那么接下来拷贝Hive所依赖的Jar包（或者使用软连接的形式）。
若：在etc/profile添加过参数：
export HBASE_HOME=/use/local/hadoop/module/hbase-1.3.1
export HIVE_HOME=/use/local/hadoop/module/hive-1.2.1
就不需要执行软连接
了解一下：
执行命令，软连接：
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
[root@hadoop107 hbase-1.3.1]# ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
同时在hive-site.xml中修改zookeeper的属性，如下：
[root@hadoop105 conf]# vim hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>
<!--配置zookeeper参数-->
<property>
<name>hive.zookeeper.quorum</name>
<value>hadoop105,hadoop106,hadoop107</value>
<description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
<description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
</configuration>
环境已经准备好了
案例一
目标：建立Hive表，关联HBase表，插入数据到Hive表的同时能够影响HBase表。
分步实现：
进入hive的客户端
[root@hadoop105 hive-1.2.1]# bin/hive
应eclipse工具创建
导入一个文件系统
（1）在Hive中创建表同时关联HBase
首先，在Hive与Hbase没有这张表的时候
我们先在Hive的客服端创建：
hive (default)> CREATE TABLE hive_hbase_emp_table(
> empno int,
> ename string,
> job string,
> mgr int,
> hiredate string,
> sal double,
> comm double,
> deptno int)
> STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
> WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
> TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
提示： 完成之后，可以分别进入Hive和HBase查看，都生成了对应的表
(2) 在Hive中创建临时中间表，用于load文件中的数据
CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';
(3) 向Hive中间表中load数据
hive> load data local inpath '/home/admin/softwares/data/emp.txt' into table emp;
(4) 通过insert命令将中间表中的数据导入到Hive关联HBase的那张表中
hive> insert into table hive_hbase_emp_table select * from emp;
(5) 查看Hive以及关联的HBase表中是否已经成功的同步插入了数据
Hive：
hive> select * from hive_hbase_emp_table;
HBase：
hbase> scan ‘hbase_emp_table’
案例二
目标： 在HBase中已经存储了某一张表hbase_emp_table，然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表，使之可以借助Hive来分析HBase这张表中的数据。
注：该案例2紧跟案例1的脚步，所以完成此案例前，请先完成案例1。
分步实现：
(1) 在Hive中创建外部表
CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
(2) 关联后就可以使用Hive函数进行一些分析操作了
hive (default)> select * from relevance_hbase_emp;
1453
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
