本地搭建hadoop集群--hbase和zookeeper的安装

zookeeper的安装

1、解压tar包

2、修改配置文件

cd conf

cp -a zoo_sample.cfg zoo.cfg

vim zoo.cfg

配置 dataDir=/opt/module/zookeeper-3.4.12/data

以及在文本的最后粘贴

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888

 

3、创建myid文件

进入zookeeper目录

mkdir data

touch myid

你的当前机器 再上图钟配置的几文件里就写几

例如你的master这台机器 属于server.1 则 myid文件就写1不要有空行回车等操作符

4 、配置环境变量

将zookeeper 的 目录配置到 /etc/profile中

分发文件及环境变量

source /etc/profile

生效环境变量

5、使用脚本将集群所有机器的zkServer启动起来

zkServer.sh start

6、查看状态

zkServer.sh status

可以查看到 follow 和 master

Hbase的安装

1、解压tar包

2、修改配置文件

cd conf/

vim hbase-env.sh

设置java_home

如果你的jdk是1.8 则注掉以下配置

#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

不使用hbase自带的zookeeper
export HBASE_MANAGES_ZK=false

修改hbase-site.xml文件

1）文件分布式系统地址，建议看一下hadoop下site配置的地址是啥在填写，端口不正确一定启动不了的。我的是9000端口

2）是否使用完全分布式：true

3）配置节点

4）设置zookeeper的data目录

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.12/data</value>
</property>
</configuration>
 

3、ln -s 的方式将hadoop下的配置文件

core-site.xml 和hdfs-site.xml 软连接 连接到 hbase的conf下

vim regionservers

salve1

slave2

slave3

上面的文件就像配置 hadoop slaves文件一样。

4、移除hbase下所有hadoop开头的jar包

rm -rf hadoop*.jar

5.、把hadoop share 下 所有jar、copy出来导入到  hbase 下 lib目录

6、分发文件

7、启动start-hbase.sh 文件

jps 查看 各个机器

主节点 是 HMaster 从节点 是HRegionServer