阿里云搭建大数据平台(7):Hbase和zookeeper安装和配置

一、概述

1.安装hbase需要环境:

hadoop环境,zookeeper的环境

2.Hbase结构

hbase是分布式主从架构的数据库
       (1)主节点:master  负责管理型工作,类似于namenode
       (2)从节点: regionserver 具体的数据流和数据存储工作,类似与datanode        

二、zookeeper安装和配置伪分布式

1.解压缩

tar -zxvf zookeeper-3.4.5-cdh5.15.0.tar.gz -C /opt/modules/

2.进入zookeeper安装目录的conf目录下

cd /opt/modules/zookeeper-3.4.5/conf

从模板拷贝并且重命名为zoo.cfg

cp zoo_sample.cfg zoo.cfg

编辑文件

vi zoo.cfg

将第12行修改为如下

dataDir=/opt/modules/zookeeper-3.4.5-cdh5.15.0/zkdata

3.启动zookeeper测试

bin/zkServer.sh start

4.测试:

(1)jps后显示 
6902 QuorumPeerMain:证明开启
(2)测试zk是否正常运行

bin/zkServer.sh status
显示下面证明正常
JMX enabled by default
Using config: /opt/modules/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: standalone【这个是核心!】

5.访问zookeeper服务器

(1)打开zkCli.sh客户端

 bin/zkCli.sh

(2)查看hbase:meta数据库位置

    -》命令帮助

​​​​​​​h

    -》查看表

ls /hbase/table
结果:[hbase:meta, ns1:t1, hbase:namespace, ns1:stuInfo]

     -》查看命名空间

ls /hbase/namespace
结果:[nstest, default, ns1, hbase]

     -》查看hbase:meta的内容

get /hbase/meta-region-server

 

三、Hbase安装和配置

1.解压缩

tar -zxvf hbase-1.2.0-cdh5.15.0.tar.gz -C /opt/modules/

2.修改文件hbase-env.sh

(1)指定java的路径

export JAVA_HOME=/opt/modules/jdk1.8.0_151

(2)不使用hbase自带的zk,选择自己安装zk,所以设置为false

export HBASE_MANAGES_ZK=false

3.修改hbase-site.xml文件

	  <property >
		<name>hbase.tmp.dir</name>
		<value>/opt/modules/hbase-1.2.0-cdh5.15.0/data/tmp</value>
	  </property>
	  指定hbase所有表数据存储的位置,也可以指定为本地,类似于hive的数据仓库的位置一样概念
	  <property >
		<name>hbase.rootdir</name>
		<value>hdfs://hadoop:8020/hbase</value>
	  </property>
	  指定hbase的模式,是否使用分布式集群模式,如果是false就是单机模式,无论是伪分布或者是完全分布都是分布式
	  <property >
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	  </property>
	  指定zookeeper的实例化地址,zk是hbase的访问入口,客户端访问时都要经过zk
	  <property>
		<name>hbase.zookeeper.quorum</name>
		<value>hadoop</value> 
	  </property>

4.修改regionservers 

改为自己的主机名hadoop

5.替换jar包

(1)如果使用cdh版本,则忽略本步骤

(2)如果不是cdh版本,则需要替换

/opt/modules/hbase-0.98.6-hadoop2/lib目录下对应的hadoop版本的15个hadoop,1个zk的jar包

备注:因为这里使用cdh,所以忽略这一步

6.启动hbase

(1)启动zk和hadoop

bin/zkServer.sh start

(2)启动hbase

bin/hbase-daemon.sh start master       (stop)
bin/hbase-daemon.sh start regionserver   (stop)
或者
bin/start-hbase.sh     
bin/stop-hbase.sh  

7.检测

(1)jps

3744 NameNode
12982 QuorumPeerMain
4008 SecondaryNameNode
13192 HMaster
3865 DataNode
13917 Jps
13262 HRegionServer

(2)webUI界面

hadoop:60010

 

(测试成功~)

展开阅读全文

没有更多推荐了,返回首页