一、搭建hbase集群,安装thrift服务并启动
cd /usr/hdp/2.6.2.0-205/hbase/bin/
./hbase-common.sh start thrift
二、Thrift API
在网上很多人说在hbase根目录下存在Hbase.thrift文件,但是我没有找到,没办法,只能去官网下载
hbase-1.1.2-bin.tar.gz 这个文件,然后找到里面的hbase-thrift文件夹,解压出来,拷贝到任意目录,然后使用如下命令,生成python使用的Thrift API:
mkdir -p /usr/local/hbase
tar -zxvf hbase-1.1.2-src.tar.gz
cd /usr/local/hbase/hbase-1.1.2/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift
thrift –gen py Hbase.thrif
然后把生成的gen-py文件夹下的hbase文件夹,拷贝到python的包路径下(/usr/local/python3/lib/python3.6/site-packages)就可以使用了。
后期修改:发现这个包生成的hbase包已经不能用了,需要使用pip安装hbase-thrift即可。
三、安装thrift和hbase-thrift
pip install thrift
pip install hbase-thrift
注:若装conda,可以用conda install ... 安装
安装完成之后第一次运行,报错误:
in from hbase import Hbase File
"C:\Users\tianxiao\AppData\Local\Programs\Python\Python36\lib\site-packages\hbase\Hbase.py", line 2066
except IOError, io: ^ SyntaxError: invalid syntax
原因是python版本带来的语法兼容性问题,下载python3的Hbase文件,替换Hbase文件/usr/local/lib/python3.6/dist-packages/hbase/Hbase.py和ttypes.py
下载地址为:https://github.com/626626cdllp/infrastructure/tree/master/hbase
四、hbase API
#!/usr/bin/python3
# -*- coding: UTF-8 -*-
from thrift import Thrift
from thrift.transport import TSocket, TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
from hbase.ttypes import *
import pandas as pd
from hbase.Hbase import *
class hbaseUtils(object):
__slots__ = ['transport', 'client']
# @staticmethod
def __init__(self):
# server端地址和端口,web是HMaster也就是thriftServer主机名,9090是thriftServer默认端口
transport = TSocket.TSocket('172.8.10.145', 9090)
# 可以设置超时
transport.setTimeout(5000)
# 设置传输方式(TFramedTransport或TBufferedTransport)
self.transport = TTransport.TBufferedTransport(transport)
# 设置传输协议
protocol = TBinaryProtocol.TBinaryProtocol(self.transport)
# 确定客户端
self.client = Hbase.Client(protocol)
详细API见:python hbase API (二)