python27怎么安装thrift解压包_python hbase API (一) thrift2环境准备

一、搭建hbase集群，安装thrift服务并启动

cd /usr/hdp/2.6.2.0-205/hbase/bin/

./hbase-common.sh start thrift

二、Thrift API

在网上很多人说在hbase根目录下存在Hbase.thrift文件，但是我没有找到，没办法，只能去官网下载

hbase-1.1.2-bin.tar.gz 这个文件，然后找到里面的hbase-thrift文件夹，解压出来，拷贝到任意目录，然后使用如下命令，生成python使用的Thrift API：

mkdir -p /usr/local/hbase

tar -zxvf hbase-1.1.2-src.tar.gz

cd /usr/local/hbase/hbase-1.1.2/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift

thrift –gen py Hbase.thrif

然后把生成的gen-py文件夹下的hbase文件夹，拷贝到python的包路径下(/usr/local/python3/lib/python3.6/site-packages)就可以使用了。

后期修改：发现这个包生成的hbase包已经不能用了，需要使用pip安装hbase-thrift即可。

三、安装thrift和hbase-thrift

pip install thrift

pip install hbase-thrift

注：若装conda，可以用conda install ... 安装

安装完成之后第一次运行，报错误：

in from hbase import Hbase File

"C:\Users\tianxiao\AppData\Local\Programs\Python\Python36\lib\site-packages\hbase\Hbase.py", line 2066

except IOError, io: ^ SyntaxError: invalid syntax

原因是python版本带来的语法兼容性问题，下载python3的Hbase文件，替换Hbase文件/usr/local/lib/python3.6/dist-packages/hbase/Hbase.py和ttypes.py

下载地址为:https://github.com/626626cdllp/infrastructure/tree/master/hbase

四、hbase API

#!/usr/bin/python3

# -*- coding: UTF-8 -*-

from thrift import Thrift

from thrift.transport import TSocket, TTransport

from thrift.protocol import TBinaryProtocol

from hbase import Hbase

from hbase.ttypes import *

import pandas as pd

from hbase.Hbase import *

class hbaseUtils(object):

__slots__ = ['transport', 'client']

# @staticmethod

def __init__(self):

# server端地址和端口,web是HMaster也就是thriftServer主机名,9090是thriftServer默认端口

transport = TSocket.TSocket('172.8.10.145', 9090)

# 可以设置超时

transport.setTimeout(5000)

# 设置传输方式(TFramedTransport或TBufferedTransport)

self.transport = TTransport.TBufferedTransport(transport)

# 设置传输协议

protocol = TBinaryProtocol.TBinaryProtocol(self.transport)

# 确定客户端

self.client = Hbase.Client(protocol)

详细API见：python hbase  API (二)