搭建企业Hbase笔记

• 实验环境搭建

架构：

namenode1(master1)

namenode2(master2)

datanode(regionserver)

查看、修改Linux系统的最大文件打开数和最大进程数

修改limits.conf文件

改为

调整Linux内核参数

• 安装zookeeper3.4.5

在cluster1机器上解压zookeeper安装包

zk配置

先创建data目录

拷贝一份zoo.cfg出来

修改zoo.cfg里面的配置项

配置环境变量

将zookeeper文件夹拷贝给另外两台机器

在本机上的zookeeper文件夹内写入id

• Hbase的安装、配置

安装hbase-0.98.1-hadoop2-bin.tar.gz软件包

配置hbase-env.sh

在hbase文件夹下创建pids，logs文件夹

修改环境变量，添加

修改hbase-site.xml

添加regionserver节点主机名

复制hdfs-site.xml到conf目录下

添加备用Hmaster节点主机名

vim backup-masters

创建hbase的缓存文件目录

同步hbase工作目录到集群其它节点

在各节点上修改用户环境变量并使其生效

启动集群

• HDFS、HBase动态替换节点

Hadoop、HBase动态增加节点

1.增加Hadoop节点

新节点的IP配置，用户创建，核对时间，修改最大文件读取数、最大用户进程数和内核参数，SSH免密码登录配置等  

配置hosts文件，添加主机名和IP地址，且同步到其它节点  修改hadoop的配置文件slaves，添加新节点的主机名  

复制JDK和hadoop目录到新的节点（注意新节点的hadoop的data、pids等目录需要清除数据）  

新节点hadoop权限的修改  

修改新节点的环境变量  

在新节点中通过命令Hdfs dfsadmin –setBalancerBandwidth设置字节数、带宽,通过命令start-balancer.sh -threshold 5均衡当前的HDFS块 （threshold是平衡阈值，默认是10%，值越小负载越均衡，但需要更长的时间去执行）  

在新节点通过命令hadoop-daemon.sh start datanode和yarn-daemon.sh start nodemanager启动datanode和nodemanager进程

2.增加HBase节点

在HBase的配置文件regionserver中添加新节点的主机名  

复制hbase目录到新的节点（注意新节点的data等目录也需要清除数据）  

在新节点通过命令hbase-daemon.sh start regionserver启动HRegionServer  

在新节点上通过hbase-daemon.sh start regionserver启动regionserver  

进入hbase shell，通过命令balance_switch true进行region负载平衡

Hadoop、HBase动态删除节点

1.删除HBase节点

通过‘graceful_stop.sh 节点名’使得需要删除的节点的负载均衡停止使用  

在HBase的配置文件regionserver中移除删除节点的主机名

2.删除Hadoop节点

在hadoop的配置文件hdfs-site.xml中添加配置：  

<property>  

<name>dfs.hosts.exclude</name>  

<value>/home/hadoop/apache/hadoop-2.6.0/etc/hadoop/exclude</value>  

</property>  

在配置文件exclude中添加需要删除的节点主机名  

通过命令hdfsafsadmin -refreshNodes执行节点刷新操作,重新加载配置  

通过命令hadoop dfsadmin –report查看集群状态