HBase2.2.2安装和编程实践指南
1、HBase介绍
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。
HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。
- 单机模式：在一台计算机上安装和使用HBase，不涉及数据的分布式存储；
- 伪分布式模式：在一台计算机上模拟一个小的集群；
- 分布式模式：使用多台计算机实现物理意义上的分布式存储。这里出于学习目的，我们只重点讨论单机模式和伪分布式模式。
2、安装并配置HBase2.2.2
由于HBase对Hadoop具有版本依赖性，所以，在安装HBase2.2.2时，一定要首先安装Hadoop3.1.3
2.1 HBase2.2.2安装
#解压安装包
hadoop@hadoop-master:~$ sudo tar xf hbase-2.2.2-bin.tar.gz -C /usr/local/
hadoop@hadoop-master:~$ cd /usr/local/
hadoop@hadoop-master:/usr/local$ sudo mv hbase-2.2.2 hbase
#把hbase目录权限赋予给hadoop用户：
hadoop@hadoop-master:/usr/local$ sudo chown -R hadoop:hadoop hbase#配置环境变量
hadoop@hadoop-master:/usr/local$ nano ~/.bashrc
hadoop@hadoop-master:/usr/local$ tail -1 ~/.bashrc
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/hbase/bin
#使环境变量立即生效
hadoop@hadoop-master:/usr/local$ source ~/.bashrc扩展阅读: 设置Linux环境变量的方法和区别
#修改 hbase-env.sh 文件
hadoop@hadoop-master:/usr/local$ cd /usr/local/hbase/conf/
hadoop@hadoop-master:/usr/local/hbase/conf$ vim hbase-env.sh
hadoop@hadoop-master:/usr/local/hbase/conf$ tail -1 hbase-env.sh
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"#查看HBase版本，确定hbase安装成功,
hadoop@hadoop-master:/usr/local/hbase/conf$ hbase version
HBase 2.2.2
Source code repository git://6ad68c41b902/opt/hbase-rm/output/hbase revision=e6513a76c91cceda95dad7af246ac81d46fa2589
Compiled by hbase-rm on Sat Oct 19 10:10:12 UTC 2019
From source with checksum 4d23f97701e395c5d34db1882ac5021b看到输出版本消息表示HBase已经安装成功，接下来将分别进行HBase单机模式和伪分布式模式的配置。
如果安装失败，可以根据报错信息参考：https://www.cnblogs.com/shan333/p/15386771.html
2.2 HBase配置
HBase有三种运行模式，单机模式、伪分布式模式、分布式模式。作为学习，我们重点讨论单机模式和伪分布式模式。
2.2.1 单机模式配置
1、配置JAVA环境变量，并添加配置HBASE_MANAGES_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。
hadoop@hadoop-master:/usr/local/hbase/conf$ vim hbase-env.sh
hadoop@hadoop-master:/usr/local/hbase/conf$ sed -n "28p;126p" hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HBASE_MANAGES_ZK=true2、设置属性hbase.rootdir
在启动HBase前需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下：
hadoop@hadoop-master:/usr/local/hbase/conf$ nano hbase-site.xml
hadoop@hadoop-master:/usr/local/hbase/conf$ cat hbase-site.xml
......
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///usr/local/hbase/hbase-tmp</value>
</property>
</configuration>3、接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase；再启动HBase。命令如下：
hadoop@hadoop-master:/usr/local/hbase/conf$ cd /usr/local/hbase/
hadoop@hadoop-master:/usr/local/hbase$ ./bin/start-hbase.sh #用于启动HBase
hadoop@hadoop-master:/usr/local/hbase$ hbase shell #用于打开shell命令行模式成功启动HBase，截图如下：
停止HBase运行,命令如下：
bin/stop-hbase.sh注意：如果在操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。
2.2.2 伪分布式模式配置
1、配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机HBase安装目录下的conf目录(即/usr/local/hbase/conf)
hadoop@hadoop-master:/usr/local/hbase/conf$ vim hbase-env.sh
hadoop@hadoop-master:/usr/local/hbase/conf$ sed -n "28p;31p;126p" hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162/
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=true2、指定HBase数据在HDFS上的存储路径
修改hbase.rootdir，指定HBase数据在HDFS上的存储路径；将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口。
hadoop@hadoop-master:/usr/local/hbase/conf$ nano hbase-site.xml
hadoop@hadoop-master:/usr/local/hbase/conf$ cat hbase-site.xml
......
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop-master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
</configuration>hbase.rootdir指定HBase的存储目录；hbase.cluster.distributed设置集群处于分布式模式.
另外，上面配置文件中，hbase.unsafe.stream.capability.enforce这个属性的设置，是为了避免出现启动错误。也就是说，如果没有设置hbase.unsafe.stream.capability.enforce为false，那么，在启动HBase以后，会出现无法找到HMaster进程的错误，启动后查看系统启动日志(/usr/local/hbase/logs/hbase-hadoop-master-ubuntu.log)，会发现如下错误：
2020-01-25 15:04:56,916 ERROR [master/localhost:16000:becomeActiveMaster] master.HMaster: Failed to become active master
java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of 'hbase.procedure.store.wal.use.hsync' to set the desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it.3、接下来测试运行HBase。
#检测hadoop是否启动
hadoop@hadoop-master:/usr/local/hbase/conf$ jps
2880 Jps
2785 JobHistoryServer
2036 NameNode
2459 ResourceManager
2268 SecondaryNameNode#启动HBase
hadoop@hadoop-master:/usr/local/hbase/conf$ cd /usr/local/hbase/
hadoop@hadoop-master:/usr/local/hbase$ ./bin/start-hbase.sh
#启动成功，输入命令jps，看到以下界面说明hbase启动成功
hadoop@hadoop-master:/usr/local/hbase$ jps
2785 JobHistoryServer
3186 HRegionServer
2036 NameNode
3061 HQuorumPeer
3369 Jps
2459 ResourceManager
2268 SecondaryNameNode
3119 HMaster成功启动HBase，截图如下：
注意：如果在操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是：
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop
3、编程实践
3.1 利用Shell命令
3.1.1 创建表
HBase中用create命令创建表，具体如下：
hbase(main):001:0> create 'student','Sname','Ssex','Sage','Sdept','course'此时，即创建了一个“student”表，属性有：Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键，无需自行创建，默认为put命令操作中表名后第一个数据。创建完“student”表后，可通过describe命令查看“student”表的基本信息。命令执行截图如下：
hbase(main):002:0> describe 'student'
3.1.2 添加数据
在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会生成一个新的版本，从而完成“改”操作，旧的版本依旧保留，系统会定时回收垃圾数据，只留下最新的几个版本，保存的版本数可以在创建表的时候指定。
HBase中用put命令添加数据，注意：一次只能为一个表的一行数据的一个列，也就是一个单元格添加一个数据，所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。
下面命令为student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。
hbase(main):003:0> put 'student','95001','Sname','LiYing'
Took 0.0537 seconds3.1.3 插入数据
下面命令为95001行下的course列族的math列添加了一个数据。
hbase(main):004:0> put 'student','95001','course:math','80'
Took 0.0101 seconds3.1.4 查看数据
HBase中有两个用于查看数据的命令：
- get命令，用于查看表的某一行数据；
- scan命令用于查看某个表的全部数据
1、get命令
返回的是‘student’表‘95001’行的数据
hbase(main):007:0* get 'student','95001'
COLUMN CELL
Sname: timestamp=1650693897704, value=LiYing
course:math timestamp=1650693912164, value=80
1 row(s)
Took 0.0164 seconds2、scan命令
返回的是‘student’表的全部数据
hbase(main):008:0> scan 'student'
ROW COLUMN+CELL
95001 column=Sname:, timestamp=1650693897704, value=LiYing
95001 column=course:math, timestamp=1650693912164, value=80
1 row(s)
Took 0.0094 seconds3.1.5 删除数据
在HBase中用delete以及deleteall命令进行删除数据操作，它们的区别是：
- delete用于删除一个数据，是put的反向操作；
- deleteall操作用于删除一行数据。
1、delete命令
即删除了student表中95001行下的Ssex列的所有数据
hbase(main):005:0> delete 'student','95001','Ssex'
Took 0.0156 seconds2、deleteall命令
即删除了student表中的95001行的全部数据
hbase(main):006:0> deleteall 'student','95001'
Took 0.0150 seconds3.1.6 删除表
删除表有两步，第一步先让该表不可用，第二步删除表。
hbase(main):009:0> disable 'student'
Took 1.3444 seconds
hbase(main):010:0> drop 'student'
Took 0.4587 seconds
hbase(main):011:0> list
TABLE
0 row(s)
Took 0.0153 seconds
=> []3.1.7 查询表历史数据
查询表的历史版本，需要两步。
1、在创建表的时候，指定保存的版本数(假设指定为5)
hbase(main):012:0> create 'teacher',{NAME=>'username',VERSIONS=>5}
Created table teacher
Took 1.2745 seconds
=> Hbase::Table - teacher2、插入数据然后更新数据，使其产生历史版本数据，注意：这里插入数据和更新数据都是用put命令
hbase(main):013:0> put 'teacher','91001','username','Mary'
Took 0.0101 seconds
hbase(main):014:0> put 'teacher','91001','username','Mary1'
Took 0.0066 seconds
hbase(main):015:0> put 'teacher','91001','username','Mary2'
Took 0.0054 seconds
hbase(main):016:0> put 'teacher','91001','username','Mary3'
Took 0.0059 seconds
hbase(main):017:0> put 'teacher','91001','username','Mary4'
Took 0.0049 seconds
hbase(main):018:0> put 'teacher','91001','username','Mary5'
Took 0.0061 seconds3、查询时，指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
hbase(main):019:0> get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}
COLUMN CELL
username: timestamp=1650693503282, value=Mary5
username: timestamp=1650693501017, value=Mary4
username: timestamp=1650693499139, value=Mary3
username: timestamp=1650693497094, value=Mary2
username: timestamp=1650693495281, value=Mary1
1 row(s)
Took 0.0231 seconds3.1.8 退出HBase数据库表操作
最后退出数据库操作，输入exit命令即可退出，注意：这里退出HBase数据库是退出对数据库表的操作，而不是停止启动HBase数据库后台运行。
exit3.2 HBase Java API编程实践
本实例采用Eclipse开发工具。
启动Eclipse，启动以后，出现如下图所示界面，点击界面右下角的Launch按钮。
root@hadoop-master:~# cd /usr/local/eclipse/
root@hadoop-master:/usr/local/eclipse# ./eclipse
启动进入Eclipse以后的程序开发界面如下图所示。
点击界面顶部的File菜单，在弹出的子菜单(如下图所示)中选择New，再选择子菜单中的Java Project。
这时会弹出一个Java工程创建对话框(如下图所示)，在Project name文本框中输入HBaseExample，在JRE选项卡中选中第2项Use a project specific JRE，然后点击界面底部的Next按钮。
在弹出的界面中(如下图所示)，用鼠标点击Libraries选项卡，然后，点击界面右侧的Add External JARs…按钮。
在弹出的JAR Selection界面中(如下图所示)，进入到/usr/local/hbase/lib目录，选中该目录下的所有jar文件(注意，不要选中client-facing-thirdparty、ruby、shaded-clients和zkcli这四个目录)，然后，点击界面底部的OK按钮。
然后，在JAR Selection界面中(如下图所示)，点击进入到client-facing-thirdparty目录下。
在client-facing-thirdparty目录下(如下图所示)，选中所有jar文件，再点击界面底部的OK按钮。
然后，再点击界面(如下图所示)底部的Finish按钮。
在界面(如下图所示)左侧的HBaseExample工程名称上单击鼠标右键，在弹出的菜单中选择New，再在弹出的子菜单中选择Class。
在弹出的New Java Class对话框(如下图所示)中，在Name文本框中输入ExampleForHBase，然后，点击界面底部的Finish按钮。
在代码窗口中(如下图所示)，ExampleForHBase.java代码内容输入。
ExampleForHBase.java代码内容具体如下：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class ExampleForHBase {
public static Configuration configuration;
public static Connection connection;
public static Admin admin;
public static void main(String[] args)throws IOException{
init();
createTable("student",new String[]{"score"});
insertData("student","zhangsan","score","English","69");
insertData("student","zhangsan","score","Math","86");
insertData("student","zhangsan","score","Computer","77");
getData("student", "zhangsan", "score","English");
close();
}
public static void init(){
configuration = HBaseConfiguration.create();
configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
try{
connection = ConnectionFactory.createConnection(configuration);
admin = connection.getAdmin();
}catch (IOException e){
e.printStackTrace();
}
}
public static void close(){
try{
if(admin != null){
admin.close();
}
if(null != connection){
connection.close();
}
}catch (IOException e){
e.printStackTrace();
}
}
public static void createTable(String myTableName,String[] colFamily) throws IOException {
TableName tableName = TableName.valueOf(myTableName);
if(admin.tableExists(tableName)){
System.out.println("talbe is exists!");
}else {
TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
for(String str:colFamily){
ColumnFamilyDescriptor family =
ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(str)).build();
tableDescriptor.setColumnFamily(family);
}
admin.createTable(tableDescriptor.build());
}
}
public static void insertData(String tableName,String rowKey,String colFamily,String col,String val) throws IOException {
Table table = connection.getTable(TableName.valueOf(tableName));
Put put = new Put(rowKey.getBytes());
put.addColumn(colFamily.getBytes(),col.getBytes(), val.getBytes());
table.put(put);
table.close();
}
public static void getData(String tableName,String rowKey,String colFamily, String col)throws IOException{
Table table = connection.getTable(TableName.valueOf(tableName));
Get get = new Get(rowKey.getBytes());
get.addColumn(colFamily.getBytes(),col.getBytes());
Result result = table.get(get);
System.out.println(new String(result.getValue(colFamily.getBytes(),col==null?null:col.getBytes())));
table.close();
}
}在开始运行程序之前，需要启动HDFS和HBase。
然后，如下图所示，点击界面中的运行图标右侧的倒三角，在弹出的菜单中选择Run As，再在弹出的菜单中点击1 Java Application，开始运行程序。
程序运行成功以后，如下图所示，会在运行结果中出现“69”。
这时，可以到HBase Shell交互式环境中，使用如下命令查看student表是否创建成功：
hbase(main):001:0> list
TABLE
student
teacher
2 row(s)
Took 0.6020 seconds
=> ["student", "teacher"]hbase(main):002:0> scan 'student'
ROW COLUMN+CELL
zhangsan column=score:Computer, timestamp=1650700540944, value=77
zhangsan column=score:English, timestamp=1650700540932, value=69
zhangsan column=score:Math, timestamp=1650700540939, value=86
1 row(s)
Took 0.1698 seconds
4593
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
