python 操作hbase（phoenix）

前言

python 操作hbase 可以通过多种两种方式来操作，一种是使用库happybase直接连接数据库，另外一种是通过Phoenix连接。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。由于我们的业务是根据phoenix连接的，所以最终我们选择的是第二种。相对应的安装包是jpype1 以及jaydebeapi。

JayDeBeApi是一个允许用户使用Python用过Java JDBC驱动连接数据库的开源工具。理论上可以兼容所有的JDBC驱动，主要有：SQLite、Hypersonic SQL (HSQLDB)、IBM DB2、IBM DB2 for mainframes、Oracle、Teradata DB、Netezza、Mimer DB、Microsoft SQL Server、MySQL、PostgreSQL、Phoenix。

安装

首先要确认自己系统的java版本以及python版本是32位还是64位的，使用了python的jpype库需要保持两个版本是一致的。这里我们选择的都是64位。如果没有java包就自己手动安装java，此处就不介绍了。

安装jpype1 

我们通过以下url下载包，也可pip 安装改包，但需要会提示安装vc++， 单独下载该包则不需要安装其他依赖。
https://www.lfd.uci.edu/~gohlke/pythonlibs/
在这个网站下载两个安装包：jpype1 的运行依赖于下一个包numpy


pip install numpy-1.16.5+mkl-cp27-cp27m-win_amd64.whl
pip install JPype1-0.6.3-cp27-cp27m-win_amd64.whl

安装jaydebeapi

此包可以正常的pip安装即可。

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
# @Time        : 2019/11/16
# @Author      : lanny8588
# @File        : hbase_contact.py
# @Software    : PyCharm
# @version     : python 2.7
"""

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jaydebeapi
import time
t=time.time()
url = 'jdbc:phoenix:192.168.xx.6,192.168.xx.7,192.168.xx.8:2181;'
dirver = 'org.apache.phoenix.jdbc.PhoenixDriver'
params={'phoenix.schema.isNamespaceMappingEnabled': 'true'}  ##如果不加这一句的话就会报错
jarFile = "D:\hbase-conf\phoenix-4.13.2-cdh5.11.2-client.jar"
sqlStr = 'select * from "xxxx"'
conn = jaydebeapi.connect(dirver, url,params,jarFile)
curs = conn.cursor()
curs.execute(sqlStr)
result = curs.fetchall()

错误解决

出现这种错误
错误1
JayDeBeApi throws AttributeError: ‘_jpype.PyJPField’ object has no attribute 'getStaticAttribute

This error is returned when JayDeBeApi is used with the latest version of JPype (0.7.0).With the previous version of JPype (0.6.3) no problem .一般是版本引起的，降低下版本即可。

错误2
java.sql.SQLExceptionPyRaisable: java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties… Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceMappingEnabled enabled
环境变量设置问题，就是上面的params参数。