python调用hbase

python调用hbase

HBase

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

Python访问HBase

Hbase有多种访问接口,python访问hbase是通过thrift gateway来实现的。
利用thrift序列化技术,支持C++,PHP,Python等多种语言,本质最终是编译成MapReduce Job来处理HBase表数据,适合做数据统计。

1.Thrift安装

thrift 是facebook开发并开源的一个二进制通讯中间件,通过thrift,我们可以充分利用各个语言的优势,编写高效的代码。

1.1. Thrift下载(用的是0.9.3版本)

下载地址:http://mirrors.hust.edu.cn/apache/thrift/0.9.3/thrift-0.9.3.tar.gz

1.2. Thrift安装

我是在ubuntu15.10版本上安装的Thrift,安装时候遇到两个问题在这也稍微描述一下,供参考。
a) 在执行【./configure】命令时候,编译出错,错误提示为:

no acceptable C compiler found in $PATH

解决方式:
安装gcc即可

sudo apt-get install gcc

b) 同样是在执行【./configure】命令时候出错,错误提示为:

No targets specified and no makefile found

解决方式:
第一. update最新版本系统软件

sudo apt-get update

第二. 编译缺失关联软件

sudo apt-get install gcc build-essential

编译执行完毕之后,再执行【./configure】 && 【make】&&【make install】命令就可以安装成功了。

注:ubuntu版本过低也会安装失败

2. Hbase源码包下载

Hbase版本为:1.1.5
下载地址:http://mirrors.cnnic.cn/apache/hbase/stable/hbase-1.1.5-src.tar.gz

3. 用Thrift生成python访问hbase的文件

解压下载来的【hbase-1.1.5-src.tar.gz】
执行生成python文件的命令:

Sudo thrift –gen py /home/Ubuntu/Downloads/hbase-1.1.5/hbase-thrift/src/main/r/thrift/Hbase.thrift

这里写图片描述
执行成功后会在当前目录下生成【gen-py】目录,其中包含了python版本的HBase包
gen-py目录的目录结构为:
这里写图片描述
主要文件介绍如下:
【Hbase.py】中定义了一些HbaseClient可以使用的方法
【ttypes.py】中定义了HbaseClient传输的数据类型
将生成的HBase包放入项目代码或者放入Python环境的依赖包目录中即可调用。

4. 连接HBase

在装有HBase的服务器上先启动Thrift

4.1.启动thrift服务

进入HBase安装目录:【/tools/hd/hbase/bin】
这里写图片描述
执行命令:

./hbase-daemon.sh start thrift

若不指定端口,则用默认端口:9090

4.2 编写客户端程序连接HBase

创建hbase表:

import Hbase
from ttypes import *
from thrift.transport import TSocket

from django.conf import settings

def client_conn():
    transport = TSocket.TSocket(settings.HBASE_HOST_IP, settings.HBASE_HOST_PORT)
    transport = TTransport.TBufferedTransport(transport)
    protocol = TBinaryProtocol.TBinaryProtocol(transport)
    client = Hbase.Client(protocol)
    transport.open()
    return client


def get_all_tables():
    client = client_conn()
    table_names = client.getTableNames()
    print table_names

if __name__=="__main__":
    get_all_tables()

4.3 启动hbase的shell环境操作

进入到:/tools/hd/hbase/bin目录下:
执行:./hbase shell 命令
如图:
这里写图片描述

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值