java 分布 部署_HBase生产环境部署指南

最近集群要迁移，本来想在网上找到个相对完整的HBase生产环境部署教程来参考一下，无奈，网上基本上都是教你搭建测试环境的，一些常识性的问题都不曾提及。对于搭建生产环境的文章没找到一个让人满意和省心的。算了，刚好最近在做HBase集群的跨IDC迁移，那就自己写一个吧，里面也许不会将详细的命令列出来，但是会将对应的大致步骤，需要做的事情列出来。依照这个指南，只要你稍微有点学习能力，搭建出一个生产环境的HBase一点都不是问题。因为就是google一把的事情。

一、节点分布列表

备注：如果集群规模不大的，以上的节点都可以混部署。

先申明一下：本文主要是用来部署生产环境，一般是几十到几百个节点不等，部署步骤非常多，建议做成自动化脚本或者工具，推荐Asinble，我们现在使用Asinble来进行自动化部署和扩容，非常方便。

二、初始化

设备初始化主要包括如下几项：

(一)、基础初始化

1、通用初始化

针对各个节点都做的初始化有哪些：

a、文件描述符数量

修改/etc/security/limits.conf文件，将限制调整为65535，如下图：

b、设置swappiness、dirty_background_ratio、dirty_ratioecho "vm.swappiness=0" >> /etc/sysctl.conf

echo "vm.dirty_background_ratio=1" >> /etc/sysctl.conf

echo "vm.dirty_ratio=4" >>  /etc/sysctl.conf

sysctl -p

c、设置ntp

添加ntp自动同步时间，一面各个节点时间不一致；

d、配置DNS

后面的ZK等建议配置成DNS的形式，因此DNS也最好提前配置好，统一修改/etc/resolv.conf 即可。

e、配置主机名

主机名称根据个人喜好配置即可；

f、部署java环境

从官网下载jdk的安装包，以 jdk-8u102-linux-x64.tar.gz为例tar xzvf jdk-8u102-linux-x64.tar.gz -C /data/hbaseadmin/hbaseenv/

将如下内容添加到/etc/profileexport JAVA_HOME=/data/hbaseadmin/hbaseenv/jdk1.8.0_102/

export JRE_HOME=${JAVA_HOME}/jre

export HADOOP_HOME=/data/hdfsadmin/hbaseenv/hadoop

export HBASE_HOME=/data/hbaseadmin/hbaseenv/hbase

export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib/ext:${JAVA_HOME}/jre/lib:${JRE_HOME}/lib:${HBASE_HOME}/lib:${HADOOP_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${HADOOP_HOME}/bin:${HBASE_HOME}/bin:${PATH}

export LANGUAGE=en_US

2、datanode节点的初始化

一般datanode都会有多个数据盘，如果有SSD盘的话更好，我们使用SSD盘来专门存储WAL日志；

a、开启硬盘缓存【datanode节点专属】/sbin/hdparm -W 1  diskname

b、datanode的分区、格式化

将本地SSD单独分一个区出来，专门用来存储WAL日志【如果有的话】

将数据盘进行分区和格式化，并进行挂载

c、将修改固化到/etc/fstab文件中

(二)、帐号初始化

帐号的初始化主要的操作有两个，一个是创建帐号，一个是打通ssh免密登录。实现如下几个功能：

1、使用hbaseadmin来管理hbase程序

a、在中控节点上创建hbaseadmin账户，并设置好对应的密码

b、使用 ssh-keygen生成对应的密钥对

c、通过 id_rsa.pub创建对应的 authorized_keys

2、通过hdfsadmin来管理hdfsadmin程序

a、在中控节点上创建hdfsadmin账户，并设置好对应的密码

b、使用 ssh-keygen生成对应的密钥对

c、通过 id_rsa.pub创建对应的 authorized_keys

3、打通中控节点和2个master节点到其他各个节点的信任关系，实现免密登录

a、在其他节点上创建hbaseadmin和hdfsadmin帐号

b、将hbaseadmin和hdfsadmin帐号对应的authorized_keys传输到各个机器的对应用户的.ssh目录下，并设置属主为对应用户

c、将hbaseadmin和hdfsadmin帐号对应的私钥id_dsa传输到对应的.ssh目录下，修改好属主，并设置权限为600

4、测试免密登录是否正常

备注：刚开始的时候第一次访问对应主机，会显示该主机的公钥摘要，提示用户是否信任该主机，可以在.ssh/config添加StrictHostKeyChecking no来规避。

5、设置好数据目录的hdfsadmin属主，不然，写入会有问题。

三、ZK部署

1、ZK部署说明

ZK是用来做master的高可用、RegionServer的监控、元数据入口以及集群的配置维护等，而ZK的操作需要通过选举产生，至少需要超过一半的节点意见一致才有效，因此我们部署ZK的时候需要部署奇数个节点，比如3个、5个、7个。对于大的集群一般建议5个或者5个以上，而且这些ZK要跨交换机跨机架容灾。

2、ZK安装

a、从apache官网上下载ZK

b、配置ZK

ZK的配置项比较少，大致如下：

cat java.env

#配置java环境即可export JAVA_HOME=/data/hbaseadmin/hbaseenv/jdk1.8.0_102

export PATH=$PATH:$JAVA_HOME/bin

export JVMFLAGS=-Xmx2048m

cat zoo.cfgtickTime=15000

# The number of ticks that the initial

# synchronization phase can take

initLimit=20

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=20

maxClientCnxns=200

# the directory where the snapshot is stored.

dataDir=/data/hbase/zookeeper/zookeeper-data/

dataLogDir=/data/hbase/zookeeper/zookeeper-log/

# the port at which the clients will connect

clientPort=2181

server.1=normal-db-lj-hbase-zk-1:2888:3888

server.2=normal-db-lj-hbase-zk-2:2888:3888

server.3=normal-db-lj-hbase-zk-3:2888:3888

server.4=normal-db-lj-hbase-zk-4:2888:3888

server.5=normal-db-lj-hbase-zk-5:2888:3888

备注：这里推荐用域名的方式，后面如果有机器变动直接修改域名对应关系即可

c、创建对应的目录和配置muidmkdir -p /data/hbase/zookeeper/zookeeper-data/ && mkdir -p /data/hbase/zookeeper/zookeeper-log/

echo "1" > /data/hbase/zookeeper/zookeeper-data/myid

备注：如果是server1就配置myid为1，如果是server2就配置myid为2，以此类推。

d、ZK的启动

在配置好ZK后，就可以开始启动ZK了，启动命令如下：

zookeeper/bin/zkServer.sh start

启动后使用jps查看QuorumPeerMain进程是否存在，如下图：

可以通过zookeeper/bin/zkServer.sh  status

查看对应ZK的状态，如下图：

四、HDFS部署

1、namenode安装和datanode安装

namenode和datanode的安装很假单，是同一个安装包，下载好后，解压到对应的路径就OK

2、安装snappy

由于压缩使用的snappy，因此需要安装snappy，安装snappy的网上有很多教程，这里不再详细介绍。

3、namenode和datanode的配置

namenode的配置属于比较重要的部分，主要是内存的配置。namenode和datanode共享配置

hadoop-env.sh的主要配置如下：export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote -server -Xmx90g -Xms90g -Xmn4g -XX:SurvivorRatio=2 -XX:+UseMembar -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+CMSScavengeBeforeRemark -XX:ParallelCMSThreads=4 -XX:+UseCMSCompactAtFullCollection -verbose:gc -Xloggc:/data/hdfsadmin/hbaseenv/hadoop/logs/gc.log.`date +%Y-%m-%d-%H-%M-%S` -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=85 -XX:CMSFullGCsBeforeCompaction=1 $HADOOP_NAMENODE_OPTS"

export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote -server -Xmx3g -Xmn1g -XX:SurvivorRatio=2 -XX:+UseMembar -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+CMSScavengeBeforeRemark -XX:ParallelCMSThreads=4 -XX:+UseCMSCompactAtFullCollection -verbose:gc -Xloggc:/data/hdfsadmin/hbaseenv/hadoop/logs/gc.log.`date +%Y-%m-%d-%H-%M-%S` -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=85 -XX:CMSFullGCsBeforeCompaction=1 $HADOOP_DATANODE_OPTS"

hdfs-site.xml的主要配置如下：

#由于我们的设备有12块数据盘，因此配置了12个挂载点，另外本地有一个SSD的分区专门用来存储WAL日志用的

#这里设置hdfs保留空间为200G，关于这个参数的坑已有文章介绍，链接为：https://www.jianshu.com/p/508449d8f12c

由于配置太多，这里不一一给出，稍后把模版分享出来。

4、HDFS启动

a、在namenode节点上执行如下命令格式化ZK./hdfs zkfc -formatZK

b、启动JournalNode./hadoop-daemon.sh start journalnode

c、格式化namenode./hdfs namenode -format

d、初始化JournalNode./hdfs namenode -initializeSharedEdits

e、停止journalmode./hadoop-daemon.sh stop journalnode

f、初始化备NN

将主节点的dfsnamespace目录直接拷贝到备节点的对应目录

g、启动JournalNode./hadoop-daemon.sh start journalnode

h、启动namenode节点./hadoop-daemon.sh start namenode

i、在namenode上启动zkfc./hadoop-daemon.sh start zkfc

j、启动datanode

在master上配置好slaves文件(将全部的datanode填写到slaves文件中)

在master是那个执行./hadoop-daemons.sh start datanode

k、检查启动是否正常

使用jps命令查看进程是否正常

检查端口是否监听

打开hadoop dfsadmin -report查看各个节点的容量是否正常

使用http://namenodeip:8081/dfshealth.html#tab-overview 查看各个节点的状态和相关信息是否正常

使用hadoop相关的命令测试集群是否正常

测试namenode容灾是否正常

五、HBase

1、master安装和RegionServer安装

HBsae的安装非常简单，在官网下载包后解压到对应的位置即可。

2、master和RegionServer的配置

hbase-env.sh 的配置：export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms10g -Xmx10g -Xmn4g"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xms48g -Xmx48g -Xmn4g"

export HBASE_SHELL_OPTS="$HBASE_SHELL_OPTS -Xms1g -Xmx1g -Xmn256m"

# Garbage collection options

CMS_OPTS="-XX:+UseConcMarkSweepGC

-XX:+UseParNewGC

-XX:+CMSParallelRemarkEnabled

-XX:+UseCMSCompactAtFullCollection

-XX:+UseCMSInitiatingOccupancyOnly

-XX:SurvivorRatio=2

-XX:CMSInitiatingOccupancyFraction=65"

export SERVER_GC_OPTS="-verbose:gc

-XX:+PrintGCDetails

-XX:+PrintGCDateStamps

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=${HBASE_LOG_DIR}

-XX:ErrorFile=${HBASE_LOG_DIR}/hs_err_%p.log

-XX:+PrintTenuringDistribution

-Xloggc:${HBASE_LOG_DIR}/gc-hbase.log.`date +%Y-%m-%d-%H-%M-%S`

-XX:+UseGCLogFileRotation

-XX:NumberOfGCLogFiles=10

-XX:GCLogFileSize=128M

$CMS_OPTS"

hbase-site.xml，由于升级到的配置单数太多，这里不再列出，将文件直接上传到附件。

3、HBase启动

a、启动hbase master/hbase-daemon.sh start master

b、启动RegionServer

在master上配置好regionservers文件(将regionserver的IP列表写入regionservers文件)

在master上执行./hbase-daemons.sh start regionserver

c、检查启动是否正常

使用jps查看进程是否正常

查看端口是否监听

通过http://masterip:8080/master-status 查看各个regionserver的状态和相关信息是否正常

通过hbase shell测试hbase各项功能是否正常

测试master的容灾是否正常

七、自动化

整个安装过程步骤机器繁多，建议在测试环境部署好后，写成自动化脚本或者工具，后续再做扩容或者安装的时候，可以直接使用脚本工具来进行。我们部署采用Ansible做自动化安装和扩容，非常方便。

八、监控部署

在安装完成整个集群并测试无异常后，就需要添加对应的监控，对于hbase的监控相关，以后再写问详细阐述需要监控的相关监控项。