我这里采用了jdk1.8.0_301+hadoop-3.3.1+zookeeper-3.6.3+hbase-2.4.6的版本
不同版本可能不能兼容,兼容性问题可以去官网查看http://hbase.apache.org/book.html#_preface
我这里有三台虚拟机,hadoop102,hadoop103,hadoop104
1、zookeeper正常部署
首先保证三台机器的zookeeper正常启动
[user@hadoop102 zookeeper-3.6.3]$ bin/zkServer.sh start
[user@hadoop103 zookeeper-3.6.3]$ bin/zkServer.sh start
[user@hadoop104 zookeeper-3.6.3]$ bin/zkServer.sh start
2、Hadoop正常部署
[user@hadoop102 hadoop-3.3.1]$ sbin/start-dfs.sh
[user@hadoop102 hadoop-3.3.1]$ sbin/start-yarn.sh
3、安装配置HBase
从官网下载需要的HBase安装包https://hbase.apache.org/downloads.html
1、解压
我这里选择安装在/opt/module目录下
[user@hadoop102 software]$ tar -zxvf hbase-2.4.6-bin.tar.gz -C /opt/module/
2、修改hbase-env.sh文件
[user@hadoop102 hbase-2.4.6]$ vim conf/hbase-env.sh
下面是要修改的信息
这些信息在文档中原本是注释了,删除注释即可,路径要改为自己的安装路径
export JAVA_HOME=/opt/module/jdk1.8.0_301
export HBASE_CLASSPATH=/opt/module/hbase-2.4.6/conf
export HBASE_MANAGES_ZK=false
3、修改hbase-site.xml文件
[user@hadoop102 hbase-2.4.6]$ vim conf/hbase-site.xml
下面是修改的信息
<!-- hadoop端口号,要与hadoop中core-site.xml对应 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop102:8020/hbase</value>
</property>
<!-- true为分布式集群,false为单机模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop102,hadoop103,hadoop104</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.6.3/zkData</value>
</property>
<!-- 本地文件系统的临时文件夹。可以修改到一个更为持久的目录上 -->
<property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
<!-- v2.1版本,在分布式情况下,设置为false -->
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
3、修改regionservers文件信息
修改为:
hadoop102
hadoop103
hadoop104
4、将Hadoop中的配置文件放入conf中
[user@hadoop102 hbase-2.4.6]$ cp /opt/module/hadoop-3.3.1/etc/hadoop/core-site.xml /opt/module/hbase-2.4.6/conf/
[user@hadoop102 hbase-2.4.6]$ cp /opt/module/hadoop-3.3.1/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.4.6/conf/
也可以用软连接配置
[user@hadoop102 hbase-2.4.6]$ ln -s /opt/module/hadoop-3.3.1/etc/hadoop/core-site.xml /opt/module/hbase-2.4.6/conf/core-site.xml
[user@hadoop102 hbase-2.4.6]$ ln -s /opt/module/hadoop-3.3.1/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.4.6/conf/hdfs-site.xml
5、预编译
这一步操作我也没搞懂是干什么的,安装完成后有问题百度后做了这部操作就好了
cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-4.2.0-incubating.jar $HBASE_HOME/lib/
6、分发HBase文件
[user@hadoop102 module]$ scp -r /opt/module/hbase-2.4.6 hadoop@hadoop103:/opt/module/hbase-2.4.6
[user@hadoop102 module]$ scp -r /opt/module/hbase-2.4.6 hadoop@hadoop104:/opt/module/hbase-2.4.6
7、启动HBase
[user@hadoop102 hbase-2.4.6]$ bin/start-hbase.sh
8、检查运行状态
在主机(regionservers文件的第一行的主机名)上能看到进程HMaster
在所有机器上有进程HRegionServer说明启动成功
进入Hbase客户端
[user@hadoop102 hbase-2.4.6]$ bin/hbase shell
查看数据库有那些表
hbase:001:0> list
如果没报错说明启动成功
4、常见错误解决方案
注意你的Hadoop,zookeeper,HBase之间一定要兼容
在重启zookeeper之前一定要删掉日志目录,我这里是zkData,最好关机后在新建该文件和对应的myid
启动时抛出ClockOutOfSyncException异常
如果集群之间的节点时间不同步,会导致 regionserver 无法启动,抛出ClockOutOfSyncException 异常
https://www.jianshu.com/p/4160388ddc9f(能百度解决的问题为什么要自己写呢)
进入客户端使用list报ServerNotRunningYetException异常
原因是hadoop处在安全模式下。所以hbase的操作会出现异常。具体原理我目前还不太清楚。解决方案是手动退出安全模式
./hadoop dfsadmin -safemode leave
完成后重启hbase
jps查看时没有HMaster进程
拷贝文件到对应目录,之后重启
cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-4.2.0-incubating.jar $HBASE_HOME/lib/