下载HBASE,需要注意的是,HBASE需要和hadoop的版本相互兼容,具体版本号参照如下:
下载HBASE到/usr/local
cd /usr/local
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.17/hbase-2.4.17-bin.tar.gz
解压
tar -zxvf hbase-2.x.x-bin.tar.gz
单机配置
修改/usr/local/hbase/conf/hbase-env.sh 添加以下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241 # 对应的java路径
export HBASE_MANAGES_ZK=true
编辑完成后使用source使修改生效
source hbase-env.sh
编辑/etc/profile
cd ~
sudo vim /etc/profile
添加以下内容
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/sbin:$HBASE_HOME/bin
使用source命令生效
source /etc/profile
修改/usr/local/hbase/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.10.129:9000/hbase</value>
</property>
</configuration>
伪分布式配置
修改hbase-env.sh,添加以下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=true
编辑完成后使用source使修改生效
source hbase-env.sh
修改hbase的配置文件hbase-site.xml
cd /usr/local/hbase/conf
vim hbase-site.xml
添加以下内容
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.10.129:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name> <!-- 表示使用hbase自带的zookeeper -->
<value>192.168.10.129</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name> <!-- zookeeper的端口号 -->
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name> <!-- zookeeper的data保存目录 -->
<value>/usr/local/hbase/zookeeper_data</value>
</property>
</configuration>
即可启动进行测试
先启动hadoop
/usr/local/hadoop/sbin/start-dfs.sh
再启动hbase
/usr/local/hbase/bin/start-hbase.sh
再输入jps查看进程数,HMaster,HRegionServer,HQuorumPeer即代表Hbase的服务节点
此时查看HDFS可以看到有一个hbase文件夹用于存储hbase的数据
注意:操作 Hadoop和 HBase的执行顺序是:启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。
同时,hbase还提供了web管理页面
访问IP:16010端口
完全分布式式安装
参考文章如下所示:
Centos7下HBase安装与配置(亲测!)_centos按照hbase1.2.0-CSDN博客
Centos下ZooKeeper安装部署配置(集群模式)_grep: /opt/zookeeper/apache-zookeeper-3.8.3-bin/bi-CSDN博客
首先需要在三台机器上安装zookeeper
下载安装包
修改权限
chmod u+x zookeeper-3.4.13.tar.gz
解压压缩包
tar -zxvf zookeeper-3.4.13.tar.gz
创建软链接
ln -s zookeeper-3.4.13 zookeeper
修改配置文件
需要注意的是,要先重命名配置文件,配置文件一般位于zookeeper的conf目录下
mv zoo_sample.cfg zoo.cfg
然后需要创建目录,在zookeeper目录下创建 /tmp/data
然后创建文件myid
输入数字1,然后保存退出(注意,这里的1相当于服务的标识符,每个服务有一个唯一的服务ID)
修改zoo.cfg
vim zoo.cfg
#The number of milliseconds of each tick
tickTime=2000
#The number of ticks that the initial
#synchronization phase can take
initLimit=5
#The number of ticks that can pass between
#sending a request and getting an acknowledgement
syncLimit=2
#the directory where the snapshot is stored.
#do not use /tmp for storage, /tmp here is just
#example sakes.
#**这个地方填写自己的路径**
dataDir=/opt/Hadoop/zookeeper/tmp/data
#the port at which the clients will connect
clientPort=2181
#the maximum number of client connections.
#increase this if you need to handle more clients
#maxClientCnxns=60
#服务器名称与地址:集群信息(服务器编号、服务器编号、服务器地址、LF通信端口、选举端口)
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
然后就是分发文件,把一台主机上的配置分发到其他主机上,使用脚本xsync
然后把myid文件修改一下,比如第二台机器就修改为2,以此类推
然后就是启动zookeeper
zkServer.sh start
安装完zookeeper以后就可以开始安装hbase了
上传安装包
修改权限
chmod u+x hbase-1.2.0-cdh5.9.3.tar.gz
解压
tar -zxvf hbase-1.2.0-cdh5.9.3.tar.gz
建立软链接
ln -s hbase-1.2.0-cdh5.9.3 hbase
配置环境变量
vim ~/.bashrc
export HBASE_HOME=/opt/Hadoop/hbase
export PATH=$HBASE_HOME/bin:$PATH
然后退出,执行
source ~/.bashrc
修改配置文件,配置文件一般位于hbase的conf目录下
vim hbase-env.sh
export JAVA_HOME=/opt/Hadoop/jdk1.8.0_162 # 改成自己的jdk路径
export HBASE_MANAGES_ZK=false
然后在hbase目录下创建存放zookeeper数据的文件
mkdir zookeeper-data
修改配置文件
vim hbase-site.xml
<configuration>
<!-- Hbase的数据保存在HDFS对应的目录下 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://node1:8020/hbase</value>
</property>
<!-- 是否是分布式环境 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 配置ZK的地址,3个节点都启用Zookeeper -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
</property>
<!-- 冗余度 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 主节点和从节点允许的最大时间误差 -->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<!-- zookeeper数据目录 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/Hadoop/hbase/zookeeper-data</value>
</property>
<!-- 设置网页端口号 -->
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>
再修改regionservers,改成自己的
vim regionservers
然后就是使用脚本进行分发
启动三台机器
start-hbase.sh
Bug提醒
在启动HBASE时可能会报错
SLF4J: Class path contains multiple SLF4J bindings.等等
只需要把hadoop或者HBASE目录结构中其中一个日志的jar包删除掉即可,具体位置需要看报错信息
需要注意的是,删除HBASE目录下的slf4j-reloadxxxx以后,建议是把hadoop目录下同名的jar包复制过来,不然后面还会有其他报错
同时建议修改hbase-env.sh
新增
export Hbase_Disable_Hadoop_CLASSPATH_LOOKUP=true
Hadoop 安全模式,如果开启了hadoop的安全模式会导致HBASE的命令失效报错
可以使用下述命令查看是否启动安全模式
hadoop dfsadmin -safemode get
如果启动了可以使用下述命令关闭
hadoop dfsadmin -safemode leave
如果一直无法关闭HBASE,可以使用下述命令
hbase-daemon.sh stop master
stop-hbase.sh
如果没用的话可以先关闭HDFS
一切正常以后就可以进行正常使用,比如命令行的方式使用
使用 hbase shell 进入命令行进行操作
list 查看当前所有的表
进行建表的时候也可能会报错
比如:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
解决方法:删除HDFS下的HBASE目录以及zookeeper下的hbase目录
hdfs dfs -rm -r /hbase
如果使用的是外置的zookeeper的话,直接使用客户端进入zookeeper删除即可,如果是伪分布式,使用自带的zookeeper的话,就要去配置文件设置的存储文件夹寻找
删除完后正常使用建表语句
create ‘student’,’info’
插入一条记录
put ‘student’,’1001’,’info’,’male’
查看表记录scan ‘student’
命令行操作:
List:查看所有表
创建表
插入数据:
删除数据
删除表 drop 表名,要先禁用
Java操作:
加载对应的依赖:
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.4.8</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase</artifactId>
<version>2.4.8</version>
<type>pom</type>
</dependency>
</dependencies>
初始化连接配置
static {
//HBase Master地址,在hbase-site.xml中配置
conf.set("hbase.rootdir", "hdfs://hadoop102:8020/hbase");
//ZooKeeper三个服务器地址
conf.set("hbase.zookeeper.quorum", "hadoop102,hadoop103,hadoop104");
try {
connection = ConnectionFactory.createConnection(conf);
admin = connection.getAdmin();
} catch (IOException e) {
e.printStackTrace();
}
}
测试建表
public void createTable(String tableName) throws IOException {
//通过管理员对象创建表
HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
//给表添加列族
HColumnDescriptor f1 = new HColumnDescriptor("f1");
HColumnDescriptor f2 = new HColumnDescriptor("f2");
//将两个列族设置到 创建的表中
hTableDescriptor.addFamily(f2);
//创建表
admin.createTable(hTableDescriptor);
//关闭连接
admin.close();
connection.close();
System.out.println("创建表成功");
}
插入数据:
public void addData(String tableName) throws IOException {
//获取表对象
Table myuser = connection.getTable(TableName.valueOf(tableName));
Put put = new Put("0001".getBytes());
put.addColumn("f1".getBytes(), "id".getBytes(), Bytes.toBytes(1));
put.addColumn("f1".getBytes(), "name".getBytes(), Bytes.toBytes("小明"));
put.addColumn("f1".getBytes(), "age".getBytes(), Bytes.toBytes(22));
put.addColumn("f2".getBytes(), "sex".getBytes(), Bytes.toBytes("男"));
put.addColumn("f2".getBytes(), "address".getBytes(), Bytes.toBytes("青岛"));
put.addColumn("f2".getBytes(), "phone".getBytes(), Bytes.toBytes("15900000001"));
put.addColumn("f2".getBytes(), "say".getBytes(), Bytes.toBytes("你好"));
myuser.put(put);
//关闭表
myuser.close();
System.out.println("插入数据成功");
}
查看数据:
public void scanAllData(String tableName) throws IOException {
//获取表对象
Table myuser = connection.getTable(TableName.valueOf(tableName));
Scan scan = new Scan();
//设置起始和结束的rowkey,扫描结果是:[)类型
scan.setStartRow("0001".getBytes());
scan.setStopRow("0008".getBytes());
ResultScanner scanner = myuser.getScanner(scan);
for (Result result : scanner) {
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
String rowkey = Bytes.toString(cell.getRowArray(), cell.getRowOffset(), cell.getRowLength());
//获取列族的名称
String familyName = Bytes.toString(cell.getFamilyArray(), cell.getFamilyOffset(), cell.getFamilyLength());
//获取列的名称
String columnName = Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength());
if (familyName.equals("f1") && columnName.equals("id") || columnName.equals("age")) {
int value = Bytes.toInt(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
System.out.println("列族名: " + familyName + " ,列名: " + columnName + " ,列值:" + value);
} else {
String value = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength());
System.out.println("列族名: " + familyName + " ,列名: " + columnName + " ,列值:" + value);
}
}
}
//获取返回结果
myuser.close();
}
结果如下所示