hbase配置

安装环境

Hadoop：hadoop2.7.4
Hbase:hbase.1.2.6
JDK: jdk1.8

注意：hbase版本需要支持原来安装的hadoop版本

HBase-0.92.x	HBase-0.94.x	HBase-0.96.x
Hadoop-0.20.205	S	X
Hadoop-0.22.x	S	X
Hadoop-1.0.x	S	S
Hadoop-1.1.x	NT	S
Hadoop-0.23.x	X	S
Hadoop-2.x	X	S

S = supported and tested,支持
X = not supported,不支持
NT = not tested enough.可以运行但测试不充分

安装过程

下载安装包

选择的是最新的稳定版本 1.2.6

解压到/ur/hadoop/app/hbase

然后在/etc/profile中，将Hbase的路径添加到Path中

然后source一下

配置hbase配置文件

• conf/hbase-env.sh
  主要是添加JAVA的路径，hadoop路径，修改zookeeper为另外配置的（之前已经配置）

• conf/hbase-site.xml
  这个配置比较复杂，是参考网上的
  下面的代码中也有详细的说明
  注意要把配置改成自己的配置

<configuration>  
    <property>  
        <name>hbase.rootdir</name>  
        <value>hdfs://cluster1</value><!--这里必须跟core-site.xml中的fs.defaultFS键配置一样-->  
    </property>  
    <!-- 开启分布式模式 -->  
    <property>  
        <name>hbase.cluster.distributed</name>  
        <value>true</value>  
    </property>  
    <!--只配置端口，为了配置多个HMaster -->  
    <property>  
        <name>hbase.master</name>  
        <value>lk:60000</value>  
    </property>  
    <property>  
        <name>hbase.tmp.dir</name>  
        <value>/tmp/hbase/tmp</value>  
    </property>  

    <!--这里设置hbase API客户端侧缓存值，大于此值就进行一次提交，/opt/hbase-1.2.1/conf/hbase-site.xml统一配置为5M，对所有HTable都生效，那么客户端API就可不设置-->  
    <!--htable.setWriteBufferSize(5242880);//5M -->  
    <property>  
        <name>hbase.client.write.buffer</name>  
        <value>5242880</value>  
    </property>  
    <!--这里设置Master并发最大线程数，经常有人设为300左右-->  
    <property>  
        <name>hbase.regionserver.handler.count</name>  
        <value>300</value>  
    </property>  
    <!--  
    默认值 ：256M  
    说明      ：在当前ReigonServer上单个Reigon的最大存储空间，单个Region超过该值时，这个Region会被自动split成更小的region。  
    数据表创建时会预分区，每个预分区最大大小这里设置为10G，防止频繁的split阻塞数据读写，  
    只有当预分区超过10G时才会进行split，正式环境应该首先预测数据存储时间内的大致数据量，  
    然后如果每个预分区为10G，计算出分区数，建表时指定分区设置，防止后期频繁split  
    写法，如果你想设为128兆，但绝不可以写成128M这样，最安全的写法是128*1024*1024的数值，如下  
    -->  
    <property>  
        <name>hbase.hregion.max.filesize</name>  
        <value>134217728</value>  
    </property>  
    <!--  
    默认hbase每24小时会进行一次major_compact，major_compact会阻塞读写，这里先禁用，但不代表这个操作不做，  
    可以后期指定linux shell加入到cron定时任务在hbase集群空闲情况下执行  
    -->    
    <property>  
        <name>hbase.hregion.majorcompaction</name>  
        <value>0</value>  
    </property>  
    <!--  
    hbase本质上可以说是HADOOP HDFS的客户端，虽然Hadoop的core-site.xml里设置了文件副本数，但是仍然是客户端传值优先，这里设置为2，  
    意思是一个文件，最终在Hadoop上总个数为2，正式环境最好设置为3，目前发现此值小于3时，  
    在遇到All datanodes xxx.xxx.xxx.xxx:port are bad. Aborting...错误信息时，如果某个DataNode宕机，原则上hbase调用的DFSClient会去其他Datanode    
    上重试写，但发现配置的值低于3就不会去尝试  
    -->    
    <property>  
        <name>dfs.replication</name>  
        <value>3</value>  
    </property>  
    <!--  
    IncreasingToUpperBoundRegionSplitPolicy策略的意思是，数据表如果预分区为2，配置的memstore flush size=128M，那么下一次分裂大小是2的平方然后乘以128MB，即2*2*128M=512MB;  
    ConstantSizeRegionSplitPolicy策略的意思是按照上面指定的region大小超过30G才做分裂  
    -->  
    <property>  
        <name>hbase.regionserver.region.split.policy</name>  
        <value>org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy</value>  
    </property>  
    <!--一个edit版本在内存中的cache时长，默认3600000毫秒-->  
    <property>  
        <name>hbase.regionserver.optionalcacheflushinterval</name>  
        <value>7200000</value>  
    </property>  
    <!--分配给HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默认0.3意思是分配30%，设置为0就是禁用，但不推荐。-->  
    <property>  
        <name>hfile.block.cache.size</name>  
        <value>0.3</value>  
    </property>  
    <!--当memstore的大小超过这个值的时候，会flush到磁盘。这个值被一个线程每隔hbase.server.thread.wakefrequency检查一下。-->  
    <property>  
        <name>hbase.hregion.memstore.flush.size</name>  
        <value>52428800</value>  
    </property>  
    <!--  
    默认值 ：0.4/0.35  
    说明      ：hbase.hregion.memstore.flush.size 这个参数的作用是当单个Region内所有的memstore大小总和超过指定值时，flush该region的所有memstore  
    单个region server的全部memtores的最大值。超过这个值，一个新的update操作会被挂起，强制执行flush操作。  
    以前版本中是通过hbase.regionserver.global.memstore.upperLimit设置，老版本中含义是在hbase-env.sh中配置的HEAP_SIZE比如4G，  
    那么以该值4G乘以配置的0.5就是2G，意思是所有memstore总和达到2G值时，阻塞所有读写，现在1.2.1版本hbase中被hbase.regionserver.global.memstore.size替代，  
    计算方法仍然是HEAP_SIZE乘以配置的百分比比如下面的0.5，那么阻塞读写的阀值就为2G  
    -->    
    <property>  
        <name>hbase.regionserver.global.memstore.size</name>  
        <value>0.5</value>  
    </property>  
    <!--  
    当强制执行flush操作的时候，当低于这个值的时候，flush会停止。  
    默认是堆大小的 35% . 如果这个值和 hbase.regionserver.global.memstore.upperLimit 相同就意味着当update操作因为内存限制被挂起时，  
    会尽量少的执行flush(译者注:一旦执行flush，值就会比下限要低，不再执行)。    
    在老版本中该值是通过hbase.regionserver.global.memstore.size.lower.limit设置，  
    计算方法是以hbase-env.sh的HEAP_SIZE乘以配置的百分比比如0.3就是HEAP_SIZE4G乘以0.3=1.2G，达到这个值的话就在所有memstore中选择最大的那个做flush动作，  
    新版本则完全不同了，首先是通过hbase.regionserver.global.memstore.lowerLimit设置，而且不是以HEAP_SIZE作为参考，  
    二是以配置的hbase.regionserver.global.memstore.size的值再乘以配置的比例比如0.5，如果HEAP_SIZE=4G，  
    hbase.regionserver.global.memstore.size配置为0.5，hbase.regionserver.global.memstore.size.lower.limit配置的为0.5，  
    则计算出来的值为4G乘以0.5再乘以0.5就是1G了，达到1G就先找最大的memstore触发flush  
    -->    
    <property>  
        <name>hbase.regionserver.global.memstore.size.lower.limit</name>  
        <value>0.5</value>  
    </property>  
    <!--这里设置HDFS客户端最大超时时间，尽量改大，后期hbase经常会因为该问题频繁宕机-->  
    <property>  
        <name>dfs.client.socket-timeout</name>  
        <value>600000</value>  
    </property>  

    <!--  
    hbase.table.sanity.checks是一个开关，主要用于hbase各种参数检查，当为true时候，检查步骤如下  
    1.check max file size，hbase.hregion.max.filesize，最小为2MB  
    2.check flush size，hbase.hregion.memstore.flush.size，最小为1MB  
    3.check that coprocessors and other specified plugin classes can be loaded  
    4.check compression can be loaded  
    5.check encryption can be loaded  
    6.Verify compaction policy  
    7.check that we have at least 1 CF  
    8.check blockSize  
    9.check versions  
    10.check minVersions <= maxVerions  
    11.check replication scope  
    12.check data replication factor, it can be 0(default value) when user has not explicitly set the value, in this case we use default replication factor set in the file system.  
    详细情况可以去查看源代码org.apache.hadoop.hbase.master.HMaster的方法sanityCheckTableDescriptor，  
    该代码位于hbase源码的模块hbase-server下  
    -->  
    <property>  
        <name>hbase.table.sanity.checks</name>  
        <value>false</value>  
    </property>  
    <!--ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间-->  
    <property>  
    <!--every 30s,the master will check regionser is working -->  
        <name>zookeeper.session.timeout</name>  
        <value>30000</value>  
    </property>  
    <!--     Hbase的外置zk集群时，使用下面的zk端口。因为我这5台机子打算都安装hbase，所以都指定zookeeper。  
                有个问题就是，hbase和hadoop使用同一个zookeeper，是否可以，这样如果某台服务器上的某个应用挂了，zookeeper会不会认错。  
                把这个机子上挂的A应用误会成B应用呢  
     -->  
    <property>  
        <name>hbase.zookeeper.quorum</name>  
        <value>lk:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181</value>  
    </property>  
    <property>  
        <name>hbase.zookeeper.property.dataDir</name>  
        <value>/tmp/zookeeper/data</value>  
    </property>  
</configuration>

上面的文件中，只是设置的lk（10.113.10.1）为master，应该还要设置slave2为备用（下面的backup-masters）

• conf/backup-masters

添加slave2为备用master
新建文件backup-masters

slave2(或者是IP地址)

保存退出即可

• conf/regionservers

slave3
slave4
slave5

启动hbase

start-hbase.sh

然后在各个机器上看进程 jps

• master
  

• regionserver
  

• 网页查看

此时lk成了backup，slave2成了master

在网页上可以查看所有任务，日志，软件信息等等数据

来一点小测试

• 连接hbase shell

hbase shell

• 创建一个表和一个列
  create 'test2', 'cf2'

• 插入数据

put 'test2', 'row1', 'cf2:a', 'value1'
put 'test2', 'row2', 'cf2:b', 'value2'
put 'test2', 'row3', 'cf2:c', 'value3'

• 查看
  scan 'test2'

• 获取一行数据
  get 'test2', 'row1'
  

• 删除表格
  先disable然后drop

disable 'test2'
drop 'test2'

• 退出
  exit

• 停止hbase
  stop-hbase.sh

产生问题

• 重复SLF4J

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hadoop/app/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

发生jar包的冲突，删除一个就行

• 显示不能加载本地hadoop库

2017-11-09 07:58:06,282 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017

显示不能加载本地hadoop库

通过上网查找资料
在/etc/profile中添加JAVA_LIBRARY_PATH

export JAVA_LIBRARY_PATH=/usr/hadoop/app/hadoop/lib/native

问题解决

• 要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
  具体会报什么错不记得了