Hbase伪分布与集群搭建

zookeeper安装与配置
1.下载解压,进入conf目录下,修改zoo_sample.cfg为zoo.cfg(为了命名方便)
2.修改zoo.cfg的内容,配置四个内容
>>>>tickTime 集群客户端与服务器之间心跳通信的时间间隔,每隔tickTime会发送一个心跳,default 为2000,可以不修改
>>>>initLimit 集群客户端与服务器之间的初始化通信忍耐的时间间隔,单位用tickTime表示,也就是说,在N个tickTime之后,
如果服务器端没有响应客户端请求,则视为连接失败
>>>>syncTime leader与follower之间发送消息,请求与应答的时间间隔,不能超过多少个tickTime
>>>>datadir 表示zookeeper存放日志鱼数据的目录
>>>>clientPort 表示zookeeper监听这个端口来接受客户端的访问请求
3.配置环境变量
#zookeeper environment settings
export ZOOKEEPER_HOME=/usr/local/hadoop2.7.4/zookeeper3.4.10
export PATH=${ZOOKEEPER_HOME}/bin:$PATH
export CLASSPATH=${ZOOKEEPER_HOME}/lib:$CLASSPATH
4.进入bin目录下,zkServer.sh start
5.jps命令或者netstat -an|grep 2181查看端口是否被监听

HBase安装与配置
伪分布模式
hbase-site.xml配置信息
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.10.200:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://192.168.10.200:60000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

hbase-env.sh配置信息
1.注释掉hbase-env.sh下的两行
# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
否则启动时报错:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

2.单机或伪分布模式下将export HBASE_MANAGES_ZK=true修改为,使用hbase自带的zookeeper实例
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
 export HBASE_MANAGES_ZK=true
 
3.JAVA_HOME信息修改

4.CLASSPATH路径补全

5.删除雷同jar包
删除hbase中lib下的rm -f slf4j-log4j12-1.7.5.jar 包
否则报错:SLF4J: Class path contains multiple SLF4J bindings.

6.例行在profile文件中配置环境变量


完全分布模式
一、zookeeper的集群配置
1.配置zookeeper的zoo.cfg文件
与伪分布模式唯一不同的是在文件最后打上所有节点
server.1=192.168.10.100:2888:3888
server.2=192.168.10.101:2888:3888
server.3=192.168.10.102:2888:3888
server.4=192.168.10.103:2888:3888
在指定本地存储zookeeper数据的目录(与伪分布指定的目录相同为usr/local/hadoop2.7.4/zookeeper3.4.10/data)
在对应的位置新建data目录,在目录下新建myid文件,该文件只需要一个数字,即上述server.1=192.168.10.100:2181:3888
中的server后的1,为该节点唯一标识,其余的字段代表的含义是:ip,Leader与follower通信端口、Leader选举端口
2.例行配置环境变量
3.利用scp命令将修改的文件复制到各个节点
scp /etc/profile root@192.168.10.101:/etc/profile
scp -r zookeeper3.4.10 root@192.168.10.101:/usr/local/hadoop2.7.4/zookeeper3.4.10
4.将myid中的数字分别修改为与ip对应的2,3,4

问题1:Hmaster启动后闪退,其他正常


二、hbase的集群配置
1.配置hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.10.100:9100/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.datadir</name>
<value>/usr/local/hadoop2.7.4/hbase1.3.1/zookeeperdata</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://192.168.10.100:60000</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.10.100,192.168.10.101,192.168.10.102,192.168.10.103</value>
</property>
注意:在/usr/local/hadoop2.7.4/hbase1.3.1/下新建zookeeperdata目录
2.配置hbase-env.sh文件
与伪分布模式不同的是将 export HBASE_MANAGES_ZK=true改为false
3.配置regionservers文件
与slaves文件的内容相同
4.例行配置环境变量
5.删除雷同的jar包(同伪分布模式)
6.scp对应的文档到各个节点
scp /etc/profile root@192.168.10.101:/etc/profile
scp -r hbase1.3.1 root@192.168.10.101:/usr/local/hadoop2.7.4/hbase1.3.1


遗憾的是我用三个节点搭起来的hbase能够启动,但是不知道抽什么风,hmaster总是几秒后挂掉,但是regionserver都正常运行,至今没有解决这个问题!







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值