Hbase使用小结

关于hbase是什么东西，为什么要使用hbase，网上有很多资料，在这不在赘述，直接上干货。

1、安装

官网下载对应的版本：hbase-2.3.7-bin.tar.gz

接下里解压：

$ tar -xzvf hbase-2.3.7-bin.tar.gz

验证是否成功，进入bin目录，查看版本信息：

.../bin$ ./hbase version

结果如下：

HBase 2.3.7
Source code repository git://bc84a1a3c651/home/vagrant/hbase-rm/output/hbase revision=8b2f5141e900c851a2b351fccd54b13bcac5e2ed
Compiled by vagrant on Tue Oct 12 16:38:55 UTC 2021
From source with checksum c18a9f329233d7fbbe4938009977da0b1ce243a38c66dafaf1b7f8820e412969ee3e6bff6ce33657226e4d82eaaef31277e18097ed344ee76c54db6fc4020b37

如果看到以上结果，说明安装成功。

2、配置

首先进入…/conf目录，修改hbase-env.sh，指定jdk的路径和修改是否使用内置的zookeeper（HBASE_MANAGES_ZK），此处不使用内置zookeeper。

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/
export HBASE_MANAGES_ZK=false

其他参数可以根据实际情况进行优化

接下来修改hbase-site.xml文件

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://*******:9000/hbase</value>
  </property>
 <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
</property>
 <property>
     <name>hbase.zookeeper.quorum</name>
      <value>*********</value>
 </property>

其中：

hbase.cluster.distributed，用于指定是否为集群模式

hbase.rootdir，指定hbase数据存储的位置，此处使用hdfs，还有其他方式，例如：file

hbase.zookeeper.property.clientPort，指定zookeeper的对外端口

hbase.zookeeper.quorum，hbase使用的外置zookeeper的地址，注意此处的hostname

启动与关停

进入…/bin目录

$ ./start-hbase.sh
........
$ ./stop-hbase.sh

3、java调用

此处采用springboot方式集成hbase客户端，用来调用hbase。

		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase-client</artifactId>
			<version>2.4.8</version>
		</dependency>

首先创建一个config类，该类主要是加载有关的hbase的配置，需要与…/conf/hbase-site.xml文件中的内容对应；同时生成一个service实例

@Configuration
public class HBaseConfig {
    @Bean
    public HBaseService getHbaseService() {
        org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conf.set("hbase.zookeeper.quorum", "hbase-hostnme");
        conf.set("hbase.rootdir", "hdfs://hadoop-hostname:9000/hbase");
        conf.set("hbase.cluster.distributed", "true");
        return new HBaseService(conf);
    }
}

HbaseService类：

public class HBaseService {
     private Logger log = LoggerFactory.getLogger(HBaseService.class);
     /**
      * 管理员可以做表以及数据的增删改查功能
      */
     private Admin admin = null;
     private Connection connection = null;
     public HBaseService(Configuration conf) {
         try {
             connection = ConnectionFactory.createConnection(conf);
             admin = connection.getAdmin();
         } catch (IOException e) {
             log.error("获取HBase连接失败!");
         }
     }
     public boolean creatTable(String tableName, List<String> columnFamily) {}
     public List<String> getAllTableNames() {}
     public Map<String, Map<String, String>> getResultScanner(String tableName){}
     ......
}

同时，java调用hbase发现一个问题，首次的时候不管什么操作，比如建表或查询，都比较慢，后面后比较快，也行是首次会创建连接的原因吧。

4、注意事项

经过此次尝试使用hbase，得出以下几点结论，非常重要，在此记录下：

1、hbase官网上讲，支持standalone模式，可以使用内置的zookeeper，hbase启动可以成功，但是java客户端无法调用，需采用外置的zookeeper。

2、hbase有讲，可以使用file方式作为存储方式，也没有成功，采用的hdfs方式（hadoop）。

3、在使用hadoop、hdfs和hbase时，ip地址不好使，得使用hostname。linux服务器需要修改/etc/hosts文件，windows客户端调用也需要在HOSTS文件中添加对应的hostname映射关系。

4、最后一点特别重要：hbase与hadoop的版本需要对应。即使是官网上说的，有时也不准确。官网上说，hadoop 3.3.X版本支持Hbase的2.X版本，其实是不支持的。后来采用hadoop的3.2.2版本和hbase的2.3.7版本