phoenix使用

最近刚好在推荐，设计了几种模型，如u2i，i2i，这些模型的结果数据想要直接供给线上使用，所以想把hbase用起来。但是Hbase的使用API不是很友好，之前也了解了一些on hbase的中间件，所以此次调研了一下phoenix的使用

phoenix是什么？

phoenix是基于hbase的中间引擎，主要有以下优势

1. 提供sql对hbase表的访问
2. 低成本建立二级索引

当然也有一些不好之处：

1. 对hbase的元数据有一定入侵
2. 普通的无索引查询，比直接写Hbase api要慢50%

使用phoenix

我们的线上hbase版本是：hbase-1.2.0-cdh5.7.0，直接用开源编译好的phoenix会出现兼容性问题，需要编译cdh包

编译chd-phoenix

1. phoenix-cdh从git上clone代码，切换到分支4.8-Hbase-1.2-cdh5.8，直接编译，见目录phoenix-for-cloudera/phoenix-assembly/target/phoenix-4.8.0-cdh5.8.0.tar.gz
2. 上步骤中编译的tar包放到服务器上解压，phoenix-4.8.0-cdh5.8.0-server.jar此jar包复制到hbase所有的master/client的lib下，重启Hbase服务

命令行使用

运行phoenix/bin下的sqlline.py zk:2181，指定hbase所使用的zk地址，即可进入交互式窗口

可见命令行启用了一个事务会话

建表

-- 创建测试表,并且使用压缩算法存储
CREATE TABLE IF NOT EXISTS RECOMMEND.yt_rec_u2i (
shop_id VARCHAR(32) NOT NULL,
business_id SMALLINT NOT NULL,
model_id SMALLINT NOT NULL,
item_id INTEGER NOT NULL,
rank_num SMALLINT NOT NULL 
CONSTRAINT pk PRIMARY KEY (shop_id,business_id,model_id,item_id,rank_num)
) COMPRESSION='LZ4';

-- 创建全局索引
create index globalindex on RECOMMEND.yt_rec_u2i(shop_id,business_id,model_id,item_id,rank_num);

在phoenix里可以通过!tables看到新建好的表

我们进入hbase shell中查看这张表的表结构，由于这张表当时建的时候没有指定压缩算法，所以下面的截图是另外一张表，但是都是一样的

可见phoenix的表实现了5个协处理器的扩展，在phoenix源码中

查询性能

单表实时查询

上述表的数据量大概在2500W左右

可见单表的查询效率在ms级

多表Join查询