spring集成hbase以及所遇到的问题

1.准备

一个java的集成好spring的maven项目。

2.maven pom文件配置

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.0.0</version>
        </dependency>


        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-hadoop</artifactId>
            <version>2.2.0.RELEASE</version>
        </dependency>

这里配置好这两个依赖项，maven会把相关的依赖包下载下来，不需要我们一个一个去找相关包。

如果不是用的maven来管理项目，那么就可能需要自己把相关的依赖包找出来。

3.hbase的配置

我们新建一个hbase-config.xml文件，配置内容为

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop"
    xsi:schemaLocation="
    http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/hadoop
    http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">

    <hdp:configuration />

    <!-- default HBase configuration -->
  <hdp:hbase-configuration zk-quorum="10.20.15.197,10.20.15.198,10.20.15.200"
        zk-port="2181">
        zookeeper.znode.parent=/hbase1
        </hdp:hbase-configuration>

    <!-- wire hbase configuration (using default name 'hbaseConfiguration')
        into the template -->
<bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate">
        <property name="configuration" ref="hbaseConfiguration" />
    </bean>

</beans>

这里我基本使用的都是默认配置，xmlns是标签解析的时候需要用的一些hadoop相关的配置，

<hdp:configuration />是hadoop的默认配置，对应的默认生成的bean为hadoopCconfiguration，

<hdp:hbase-configuration/>是hbase的默认配置，对应默认生成的bean为hbaseConfiguration，

注意：这里我修改了zk-quorum， zk-port，zookeeper.znode.parent这三个属性

zk-quorum对应的是我们hbase服务器集群的zookeeper的地址， zk-port对应的是端口，

zookeeper.znode.parent对应的是hbase的zookeeper分配的znode的名字，这些我们要修改成

服务器对应的值，否则，我们是不能连接到对应的hbase集群的。

<bean id="hbaseTemplate" />标签是创建操作hbase模板bean，这个是spring为我们封装的一些常用的

hbase的增删改查的操作。我们可以使用这些封装好的方法，也可以自己直接操作hbase连接，封装对应的

需要的方法。

然后，我们需要把hbase-config.xml配置文件引入到总的配置文件中，这里我的总的配置文件是

application-context.xml，引入代码如下：

<import resource="classpath:config/hbase-config.xml" />

这里对应hbase-config.xml文件的存放地址，我的是放在config文件夹下。

4.java测试代码

public class HbaseTest {
    
    /** 日志 */
    private static Logger logger = Logger.getLogger(HbaseTest.class);
    @Autowired
    private HbaseTemplate htemplate;

    //测试get方法
    public void get() {
        htemplate.get("bolg2", "rowkey1", new RowMapper<String>() {

            @Override
            public String mapRow(Result result, int rowNum) throws Exception {
                String conten = Bytes.toString(result.getValue(Bytes.toBytes("article"), Bytes.toBytes("conten")));
                logger.info(">>>>blog2查询数据为：" + conten);
                return conten;
            }
        });
    }

    //main方法直接连接测试

    public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException {
        Configuration cf=HBaseConfiguration.create();
        cf.set(HConstants.ZOOKEEPER_QUORUM,"10.20.15.197,10.20.15.198,10.20.15.200");
        cf.set(HConstants.ZOOKEEPER_ZNODE_PARENT, "/hbase1");
        Connection connection = ConnectionFactory.createConnection(cf);
        TableName name = TableName.valueOf("blog2");
        Table table = connection.getTable(name);
        Get get = new Get(Bytes.toBytes("rowkey1"));
        Result result = table.get(get);
        String conten =Bytes.toString(result.getValue(Bytes.toBytes("article"), Bytes.toBytes("conten")));
        table.close();
        connection.close();
        logger.info(">>>>blog2查询数据为：" + conten);
    }
}

以上提供了两种方法来测试我们的hbase集群的连通性，大家可以参考修改为自己可用的代码。

最后，如果我们能够从打印的日志里找到我们想要的值，那就成功了。

集成的过程中碰到很多问题，以上是问题解决后的整个流程，记录下来，供自己和他人参考。