HBase分布式集群搭建

包下载地址

1、将集群中的所有节点的hosts文件配置完成

2、将集群中的所有节点的防火墙关闭

3、将集群中的所有节点的时间设置一致

yum install ntpdate
ntpdate ntp1.aliyun.com

4、将所有的节点设置免密钥登陆

hdfs搭建已完成的操作，如果没有参考如下

# 安装jdk

# 各主机秘钥互通
  在node01上生成一份秘钥
  ssh-keygen -t rsa -b 4096 -C "bigdata ssh" -f /home/god/.ssh/id_rsa -q 
  自己给自己发公钥 ssh-copy-id node01

  # 重点来了
  authorized_keys不用变
  cd ~/.ssh
  private_host=`cat known_hosts |awk -F ' ' '{print $2,$NF}'`
  for i in {2..5};do echo "node0${i},192.168.7.1${i} ${private_host}" >> known_hosts ;done

  scp -Crp .ssh node02:~/
  scp -Crp .ssh node03:~/
  scp -Crp .ssh node04:~/
  scp -Crp .ssh node05:~/
  # 这样5台主机就可以互通了哈哈

# 每个主机配置host解析
echo "
192.168.7.11 node01
192.168.7.12 node02
192.168.7.13 node03
192.168.7.14 node04
192.168.7.15 node05
" >> /etc/hosts

# 给god用户授权目录
chown -R god:god /opt/
chown -R god:god /data/

5、 解压hbase安装包
tar xzvf hbase-2.3.7-bin.tar.gz -C /opt/bigdata
cd hbase-2.3.7/
rm -rf docs

6、在/etc/profile文件中配置HBase的环境变量

# hbase配置
export HBASE_HOME=/opt/bigdata/hbase/hbase-2.3.7
export PATH=$PATH:$HBASE_HOME/bin

7、配置文件

• hbase-env.sh

source /etc/profile
cd $HBASE_HOME/conf

设置JAVA的环境变量
JAVA_HOME=/usr/java/default
设置是否使用自己的zookeeper实例
HBASE_MANAGES_ZK=false


sed -i '/JAVA_HOME/cexport JAVA_HOME=/usr/java/default' hbase-env.sh
sed -i '/HBASE_MANAGES_ZK/cexport HBASE_MANAGES_ZK=false' hbase-env.sh

• hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://mycluster/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>node02,node03,node04</value>
    </property>
    <!--合并文件的配置,以下是默认配置-->
    <property>
        <name>hbase.server.thread.wakefrequency</name>
        <value>10000</value>
    </property>
    <property>
        <name>hbase.server.compactchecker.interval.multiplier</name>
        <value>1000</value>
    </property>
</configuration>

9、修改regionservers文件，设置regionserver分布在哪几台节点

cat > regionservers <<-EOF
node02
node03
node04
node05
EOF

10、配置Master的高可用，需要在conf目录下创建backup-masters文件

cat > backup-masters <<-EOF
node03
node04
EOF

11、拷贝hdfs-site.xml文件到conf目录下

cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf

12、 分发包

cd /opt/bigdata
for i in {2..5};do scp -rp hbase node0${i}:`pwd` ;done

cd /etc
for i in {2..5};do scp profile node0$i:`pwd`;done

13、启动hbase集群

hdfs dfs -rm -r -f /hbase

在主控节点node01
start-hbase.sh

查看状态
http://node01:16010/master-status
http://node04:16010/master-status

可以有多个master备份
[god@node03 ~]$ hbase-daemon.sh start master

在任一台机器进入hbase命令行
hbase shell
list