Hbase实战教程(转)

本文为转载,原文地址:https://blog.csdn.net/ytusdc/article/details/78679100

本文基于实验室已经搭建好的Hadoop平台而写,使用Python调用happybase库。

1.thrift 是facebook开发并开源的一个二进制通讯中间件,通过thrift,我们可以用Python来操作Hbase

    首先开启Hadoop平台的HadoopMaster的thrift服务,用Xshell连接HadoopMaster,用root用户登录,

如果想关闭终端之后,thrift服务继续运行,可以用daemon模式运行

2.安装happybase和thrift

pip install happybase

pip install thrift

3.尝试连接Hbase

import happybase

connection = happybase.Connection('10.1.13.111')
print connection.tables()
此时会出现下面的错误:

thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol 'c'

解决的办法请参考这个连接:

http://stackoverflow.com/questions/39220102/error-import-impyla-library-on-windows

即将 C:\Python27\Lib\site-packages\thriftpy\parser\parser.py , line 488

if url_scheme == '':
修改为

if len(url_scheme) <= 1:

上面的方法不好用,应该改成下面就可以

if url_scheme == '' or url_scheme == 'c':

4.happybase的使用

请参考http://happybase.readthedocs.io/en/latest/index.html

在此做一下简单的使用介绍

(1)建立连接

import happybase

connection = happybase.Connection('10.1.13.111')
当connection被创建的时候,默认自动与Hbase建立socket连接的。

若不想自动与Hbase建立socket连接,可以将autoconnect参数设置为False

connection = happybase.Connection('10.1.13.111', autoconnect=False)
然后手动与Hbase建立socket连接

connection.open()

(2)连接建立好之后查看可以使用的table

print connection.tables()
因为还没有创建table,所以返回结果是 []

(3)创建一个table

connection.create_table(
'my_table',
{
'cf1': dict(max_versions=10),
'cf2': dict(max_versions=1, block_cache_enabled=False),
'cf3': dict(), # use defaults
}
)
此时,我们再通过connection.tables()查看可以使用的table,结果为['my_table']

创建的table即my_table包含3个列族:cf1、cf2、cf3

(4)获取一个table实例

一个table被创建好之后,要想对其进行操作,首先要获取这个table实例

table = connection.table('my_table')

(5)使用table的命名空间

    因为一个Hbase会被多个项目共同使用,所以就会导致table的命名冲突,为了解决这个问题,可以在创建table的时候,手动加上项目的名字作为table名字的前缀,例如myproject_xyz。

    但是这样做比较麻烦,happybase帮我们做好了工作,我们可以在与Hbase建立连接的时候,通过设置table_prefix参数来实现这个功能

connection = happybase.Connection('10.1.13.111', table_prefix='myproject')
此时connection.tables()只会返回包含在该命名空间里的tables,且返回的tables的名字会以简单的形式显示,即不包含前缀。

(6)存储数据:Hbase里 存储的数据都是原始的字节字符串

cloth_data = {'cf1:content': u'牛仔裤', 'cf1:price': '299', 'cf1:rating': '98%'}
hat_data = {'cf1:content': u'鸭舌帽', 'cf1:price': '88', 'cf1:rating': '99%'}
shoe_data = {'cf1:content': u'耐克', 'cf1:price': '988', 'cf1:rating': '100%'}
author_data = {'cf2:name': u'LiuLin', 'cf2:date': '2017-03-09'}

table.put(row='www.test1.com', data=cloth_data)
table.put(row='www.test2.com', data=hat_data)
table.put(row='www.test3.com', data=shoe_data)
table.put(row='www.test4.com', data=author_data)
使用put一次只能存储一行数据

如果row key已经存在,则变成了修改数据

(7)更好的存储数据

table.put()方法会立即给Hbase Thrift server发送一条命令。其实这种方法的效率并不高,我们可以使用更高效的table.batch()方法。

使用batch一次插入多行数据

bat = table.batch()
bat.put('www.test5.com', {'cf1:price': 999, 'cf2:title': 'Hello Python', 'cf2:length': 34, 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': 168, 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
bat.send()
更有用的方法是使用上下文管理器来管理batch,这样就不用手动发送数据了,即不再需要bat.send()

使用with来管理batch

with table.batch() as bat:
bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': '168', 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
还可以删除数据

在batch中删除数据

with table.batch() as bat:
bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': '168', 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
bat.delete('www.test1.com')
batch将数据保存在内存中,知道数据被send,第一种send数据的方法是显示地发送,即bat.send(),第二种send数据的方法是到达with上下文管理器的结尾自动发送。这样就存在一个问题,万一数据量很大,就会占用太多的内存。所以我们在使用table.batch()的时候要通过batch_size参数来设置batch的大小

通过batch_size参数来设置batch的大小

with table.batch(batch_size=10) as bat:
for i in range(16):
bat.put('www.test{}.com'.format(i), {'cf1:price': '{}'.format(i)})

(8)扫描一个table里的数据

全局扫描一个table

for key, value in table.scan():
print key, value
结果如下:

这种全局扫描一个表格其实代价是很大的,尤其是当数据量很大的时候。我们可以通过设置开始的row key 或结束的row key或者同时设置开始和结束的row key来进行局部查询

通过row_start参数来设置开始扫描的row key

for key, value in table.scan(row_start='www.test2.com'):
print key, value

通过row_stop参数来设置结束扫描的row key

for key, value in table.scan(row_stop='www.test3.com'):
print key, value

通过row_start和row_stop参数来设置开始和结束扫描的row key

for key, value in table.scan(row_start='www.test2.com', row_stop='www.test3.com'):
print key, value
另外,还可以通过设置row key的前缀来进行局部扫描

通过row_prefix参数来设置需要扫描的row key

for key, value in table.scan(row_prefix='www.test'):
print key, value

(9)检索数据

检索一行数据

row = table.row('www.test4.com')
print row
直接返回该row key的值(以字典的形式),结果为:

{'cf2:name': 'LiuLin', 'cf2:date': '2017-03-09'}

检索多行数据

rows = table.rows(['www.test1.com', 'www.test4.com'])
print rows
返回的是一个list,list的一个元素是一个tuple,tuple的第一个元素是row key,第二个元素是row key的值

如果想使检索多行数据即table.rows()返回的结果是一个字典,可以这样处理

检索多行数据,返回字典

rows_dict = dict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_dict
如果想使table.rows()返回的结果是一个有序字典,即OrderedDict,可以这样处理

检索多行数据,返回有序字典

from collection import OrderedDict
rows_ordered_dict = OrderedDict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_ordered_dict

(10)更好地检索数据

通过指定列族来检索数据

row = table.row('www.test1.com', columns=['cf1'])
print row

通过指定列族中的列来检索数据

row = table.row('www.test1.com', columns=['cf1:price', 'cf1:rating'])
print row
print row['cf1:price']
在Hbase里,每一个cell都有一个时间戳timestamp,可以通过时间戳来检索数据

通过指定时间戳来检索数据,时间戳必须是整数

row = table.row('www.test1.com', timestamp=1489070666)
print row
默认情况下,返回的数据并不会包含时间戳,如果你想获取时间戳,这样就可以了

在返回的数据里面包含时间戳

row = table.row(row='www.test1.com', columns=['cf1:rating', 'cf1:price'], include_timestamp=True)
print row
对于同一个单元的值,Hbase存储了多个版本,在创建表的时候可以通过max_versions参数来设置一个列族的最大版本号,如果想检索某一cell所有的版本,可以这样

检索某一个cell所有的版本

cells = table.cells(b'www.test1.com', column='cf1:price')
print cells
也可以通过version参数来指定需要检索的前n个版本,如下

通过设置version参数来检索前n个版本

cells = table.cells(b'www.test1.com', column='cf1:price', versions=3)
print cells
(11)删除数据

删除一整行数据

table.delete('www.test4.com')

删除一个列族的数据

table.delete('www.test2.com', columns=['cf1'])

删除一个列族中几个列的数据

table.delete('www.test2.com', columns=['cf1:name', 'cf1:price'])

(12)使用连接池

Hbase自带有线程安全的连接池,踏允许多个线程共享和重用已经打开的连接。这对于多线程的应用是非常有用的。当一个线程申请一个连接,它将获得一个租赁凭证,在此期间,这个线程单独享有这个连接。当这个线程使用完该连接之后,它将该连接归还给连接池以便其他的线程可以使用

创建连接,通过参数size来设置连接池中连接的个数

pool = happybase.ConnectionPool(size=3, host='10.1.13.111', table_prefix='myProject')

获取连接

with pool.connection() as connection:
print connection.tables()

转载于:https://www.cnblogs.com/daigua/p/9618398.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值