Cloudera Manager HBase Thrift 接口 Go/Python客户端

背景

最近有个需求是写一个数据查询接口，数据存放在CDH搭建的Hadoop集群HBase中。一直以来是个坚定的Pythoner（其实是懒），不过今年以来逐步接触和尝试Go之后觉得很对胃口，再加上公司令人作呕的运维管控机制，使用Go的项目静态编译为单个文件，可以将运维依赖降到最低，所以对Go越发心仪。

用net/http配合gorilla/mux包轻车熟路的实现了一套简单的查询接口之后，本以为轻松完成HBase的DAL就可以打包测试了，但是要是coding都这么一帆风顺那就显示不出什么技（bi）术（ge）了。所以意料之外又情理之中的，用Go获取HBase中并没有那么简单。

本以为HBase这么成熟的数据库，Go会有很方便实用的官方或第三方库方便访问，但在搜寻一番之后，发现只有两个选择：HBase提供的Thrift，以及这个 仍被开发者标记为Beta版本的第三方库GoHbase。在起初调试Thrift始终无果的情况下，笔者尝试了GoHbase，使用简单，可以成功获取HBase数据。考虑到这是线上的项目，本着认（zhe）真（teng）负（dao）责（di）的态度，经过了又一番调试，总算用Thrift达成了目的，下面流水账记录一下具体过程。

使用的软件环境：

• go version go1.7.4 linux/amd64 & windows/amd64*
• Thrift version 0.10.0*
• HBase 1.2.0-cdh5.7.2

步骤

1. 确定HBase安装目录，启动命令
2. 用Thrift生成HBase SDK
3. 实现客户端代码

---

具体过程

查询HBase目录及运行命令

HBase提供了两套thrift接口，首先要确定启动的hbase thrift server使用了哪套接口， 比如我的：

是第一套接口，如果参数是thrift2，就是第二套接口。

进入HBase的目录，找到Thrift文件：

[www@dev-hdp007 thrift]$ ls -l /opt/cloudera/parcels/CDH/lib/hbase/include/thrift
total 44
-rw-r–r– 1 root root 24870 Jul 23 2016 hbase1.thrift
-rw-r–r– 1 root root 15126 Jul 23 2016 hbase2.thrift

用Thrift生成代码

在上一步中找到对应的thrift文件，将文件拷贝到个人目录下，运行：

thrift -out . -r hbase–gen go ${THRIFT}

生成的代码目录如下：

其中hbase-remote目录为生成的客户端测试代码，但如果直接运行，会得到一堆报错：

..\hbase1.go:1662: cannot use temp (type Text) as type string in assignment
..\hbase1.go:11229: cannot use temp (type Text) as type string in assignment
..\hbase1.go:12252: cannot use temp (type Text) as type string in assignment
..\hbase1.go:12669: cannot use temp (