使用python操作HBase

最近要使用spark操作HBase, scala还是不熟悉,想了下还是学习下用python怎么操作HBase。网上资料蛮多的,现在实现了python访问hbase,下一步要把它应用到spark上。1. 下载thrift包thrift 我的理解是它提供一个服务,通过它其他的编程语言也能够访问到hbase数据库。我的虚拟机无法上网,安装还是挺头疼的事。先是在mac 下先brew
摘要由CSDN通过智能技术生成

最近要使用spark操作HBase, scala还是不熟悉,想了下还是学习下用python怎么操作HBase。

网上资料蛮多的,现在实现了python访问hbase,下一步要把它应用到spark上。


1. 下载thrift包

thrift 我的理解是它提供一个服务,通过它其他的编程语言也能够访问到hbase数据库。

我的虚拟机无法上网,安装还是挺头疼的事。先是在mac 下先brew install thrift, 安装成功后测试:thrift -version




2. 生成对应的python文件。

使用的是hbase 1.0.0, 去官网下载了hbase 1.0.0的源代码。找到hbase-1.0.0/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift 下的文件 Hbase.thrift

用它来生成对应的python文件。其中有两个文件夹一个thrift, 一个 thrift2。 2 是之前的版本的优化,这个以后再研究。

使用命令

thrift --gen py HBase.thrift  会在当前目录下生成文件:


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值