Hbase 完全分布式安装

HBase 完全分布式安装（hbase2.3.4）

以下所有安装路径以/server为例，具体的以实际为准。

前提工作：

1、将集群中的所有节点的hosts文件配置完成

2、将集群中的所有节点的防火墙关闭

3、将集群中的所有节点的时间设置一致

4、配置集群之间的免密登陆

1、将hbase的安装包进行解压

tar -zxvf hbase-2.2.4-bin.tar.gz -C /server/

2.配置环境变量

编辑配置文件vim /etc/profile：

export HBASE_HOME=/server/hbase-2.2.4
export PATH=$PATH:$HBASE_HOME/bin

然后执行 source /etc/profile

3、进入hbase安装路径下的conf文件夹，修改hbase-env.sh和hbase-site.xml文件

3.1修改hbase-env.sh文件，添加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_271
export HADOOP_HOME=/server/hadoop/hadoop-3.3.0
export HBASE_HOME=/server/hbase-2.2.4
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/server/hbase-2.2.4/pids

其中，JAVA_HOME,HADOOP_HOME,HBASE_HOME以实际安装路径为准，因为我们自己安装了zookeeper，所以HBASE_MANAGES_ZK的值设置为false，若没安装zookeeper，则该参数为true，HBASE_PID_DIR路径一定要设置，不要用默认配置

3.2修改hbase-site.xml文件,添加如下内容：

<!--region server的共享目录，用来持久化Hbase,该路径为实际的hdfs地址为准-->
	 <property>
 		<name>hbase.rootdir</name>
		 <value>hdfs://hdfs_host:9000/hbase</value>
	 </property>
 <!--Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面-->
	 <property>
		 <name>hbase.cluster.distributed</name>
		 <value>true</value>
	 </property>
<!--本地文件系统的临时文件夹-->
	 <property>
		 <name>hbase.tmp.dir</name>
		 <value>./tmp</value>
	 </property>
	 <property>
		 <name>hbase.unsafe.stream.capability.enforce</name>
		 <value>false</value>
	 </property>
	 <property>
		 <name>hbase.master.port</name>
		 <value>16000</value>
	 </property>
	 <property>
		 <name>hbase.master.info.bindAddress</name>
		 <value>{主节点的IP}</value>
	 </property>
	 <property>
		 <name>hbase.master.info.port</name>
		 <value>16010</value>
	 </property>
	 <property>
		 <name>hbase.regionserver.info.port</name>
		 <value>16030</value>
	 </property>
 <!--zookeeper的地址，若有多台，则以逗号进行连接-->
	 <property>
		 <name>hbase.zookeeper.quorum</name>
		 <value>zookeeper1_ip:2181</value>
	 </property>
	 <property>
		 <name>hbase.zookeeper.property.dataDir</name>
		 <value>/server/hbase-2.2.4/data/zookeeper</value>
	 </property>
	 <property>
		 <name>hbase.wal.provider</name>
		 <value>filesystem</value>
	 </property>
	 <property>
		 <name>hbase.region.store.parallel.put.limit.min.column.count</name>
		 <value>200</value>
	 </property>
	 <property>
		 <name>hbase.region.store.parallel.put.limit</name>
		 <value>100</value>
	 </property>

4、修改regionservers文件，设置regionserver分布在哪几台节点（文件位于hbase安装路径下的conf文件夹下）

IP2
IP3
IP4

5、在conf目录下创建backup-masters文件，并添加如下内容（与主节点ip不能一致）：

IP2

6、拷贝hdfs-site.xml文件到conf目录下

cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/

7、将以上的配置文件 backup-masters,hbase-env.sh,hbase-site.xml,regionservers这四个文件拷贝到其余节点的服务器上，并配置环境变量。

8、启动hbase

执行start-hbase.sh命令，该命令会在集群上启动两个服务进程，HMaster和HRegionServer两个进程，其中master节点上启动的是HMaster服务，其余节点启动的是HRegionServer服务。

---

异常处理

1、报错如下：

2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception
increateBlockOutputStream java.io.EOFException
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block
blk_-6935524980745310745_1391901

原因是文件的限制打开数太小

解决方案：

修改/etc/security/limits.conf 文件，添加如些内容：

* - nofile 32768
* - nproc 32000