最近在做一个面向Hive的查询服务,主程序是Python写的。
Hive的查询时间通常都要在1分钟以上,让用户等待不太友好,因此我们想到了用HiveServer2的异步接口,第一时间给用户返回,下次用户再访问的时候,利用密钥重建上次的查询,获取上个查询的状态,如果用户等待太久了还可以主动取消。
环境搭建
我们的Hadoop版本是CDH5.1.0,对应Hive版本是0.12.0。
Python与HiveServer2的通信是通过Thrift这种跨语言的协议实现的,所以首先要安装Python的Thrift依赖库。Thrift和Hive的版本更迭很快,对于0.12.0版本,推荐用y-lan同学的安装包,反正我亲证是没什么问题。
要注意的是,默认是需要SASL客户端中转的,对安全性要求不高的同学可以关掉SASL验证:
在Cloudera Manager控制台进入Hive->Configuration->HiveServer2 Default Group->Advanced,
「HiveServer2 Advanced Configuration Snippet (Safety Valve) for hive-site.xml」的配置中加入一行:
<property><name>hive.server2.authentication</name><value>NOSASL</value></property>
客户端
HiveServer2异步的实现原理是,HiveServer2对每个operation都配置了惟一的ID(其实是guid和secret两个参数),通过ID可以恢复上次的operation(其实session也是)。
旧版本的异步激活方式很简单:
SET hive.server2.blocking.query=true
但在0.12.0试验无效,grepcode查到TExecuteStatementReq加入了一个runAsync的布尔型参数,猜想可能与异步有关,结果一试就灵。
附上源码hiveserver2.py,有需要的同学自取吧。
至于同样走HiveServer2的Impala了,官方明确表示是不支持异步的啦(Async Queries Over Thrift / Beeswax)。
来自:建造者说