用Python操作HBase之happybase

安装Thrift

安装Thrift的具体操作，请点击链接

安装happybase

pip install happybase

连接(happybase.Connection)

• happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=’0.98’, transport=’buffered’, protocol=’binary’)：获取连接实例
  
  • host：主机名
  • port：端口
  • timeout：超时时间
  • autoconnect：连接是否直接打开
  • table_prefix：用于构造表名的前缀
  • table_prefix_separator：用于table_prefix的分隔符
  • compat：兼容模式
  • transport：运输模式
  • protocol：协议

connection = happybase.Connection(host="192.168.0.156",port=9090,timeout=None,autoconnect=True,table_prefix=None,table_prefix_separator=b'_',compat='0.98', transport='buffered',protocol='binary')

• open()：打开传输，无返回值

connection.open()

• close()：关闭传输，无返回值

connection.close()

• compact_table(name,major=False)：压缩指定表格，无返回值
  
  • name：表名
  • major：是否主要压缩

connection.compact_table(name,major=False)

• create_table(name,families)：创建表，无返回值
  
  • name：表名
  • families：列族

families = {
    "cf":dict(),
    "df":dict()
}
connection.create_table(name,families)      # 如果连接时，有传递表前缀参数时，真实表名将会是："{}_{}".format(table_prefix,name)

• delete_table(name,disable=False)：删除表，无返回值
  
  • name：表名
  • disable：是否先禁用表

connection.delete_table(name,disable=False)

• disable_table(name)：禁用表，无返回值
  
  • name：表名

connection.disable_table(name)

• enable_table(name)：启用表，无返回值
  
  • name：表名

connection.enable_table(name)

• is_table_enabled(name)：表是否已经被启用，返回一个bool值
  
  • name：表名

connection.is_table_enabled(name)

• connection.table(name,user_prefix=True)：获取一个表对象，返回一个happybase.Table对象
  
  • name：表名
  • user_prefix：是否使用表前缀，默认为True

table = connection.table(name,user_prefix=True)     # table为happybase.table.Table类型

• connection.tables()：获取Hbase实例中的表名列表，返回一个list

table_name_list = connection.tables()

表(happybase.Table)

• happybase.Table(name,connection)：获取表实例
  
  • name：表名
  • connection：连接

table = happybase.Table(name,connection)

• cells(row, column, versions=None, timestamp=None, include_timestamp=False)：获取单元格数据，返回一个list
  
  • row：行
  • column：列
  • versions：获取的最大版本数量，默认None，即获取所有
  • timestamp：时间戳，默认None，即获取所有时间戳版本的数据。可指定一个时间戳，获取小于此时间戳版本的所有数据
  • include_timestamp：是否返回时间戳，默认False

content = table.cells('row1','cf:1',5,timestamp=1514861929124,include_timestamp=True)
print content   # [('1', 1514861925674L)]

• counter_set(row,column,value=0)：设置计数器列为特定值，此方法在指定列中存储一个64位有符号整数值。无返回值
  
  • row：行
  • column：列
  • value：默认值，默认为0

table.counter_set(row,column,value=0)

• table.counter_get(row,column)：获取计数器列的值，返回当前单元格的值
  
  • row：行
  • column：列

content = table.counter_get(row,column)

• counter_dec(row,column,value=1)：计数器列递减，返回递减后单元格的值
  
  • row：行
  • column：列
  • value：每次递减的值，默认为1

content = table.counter_dec(row,column,value=1)

• counter_inc(row,column,value=1)：计数器列递增，返回递增后单元格的值
  
  • row：行
  • column：列
  • value：每次递增的值，默认为1

content = table.counter_inc(row,column,value=1)

• delete(row, columns=None, timestamp=None, wal=True)：删除指定行数据，无返回值
  
  • row：行
  • columns：列，默认为None，即删除所有列，可传入一个list或tuple来指定删除列
  • timestamp：时间戳，默认为None，即删除所有，可传入一个时间戳来删除小于等于此时间戳的所有数据
  • wal：是否写入wal，默认为True

table.delete(row, columns=None, timestamp=None, wal=True)

• families()：获取所有列族信息，返回一个dict

info = table.families()
print info

{
    'cf': {
        'max_versions': 3,
        'bloom_filter_vector_size': 0,
        'name': 'cf: ',
        'bloom_filter_type': 'NONE',
        'bloom_filter_nb_hashes': 0,
        'time_to_live': 2147483647,
        'in_memory': False,
        'block_cache_enabled': False,
        'compression': 'NONE'
    },
    'cd': {
        'max_versions': 3,
        'bloom_filter_vector_size': 0,
        'name': 'cd: ',
        'bloom_filter_type': 'NONE',
        'bloom_filter_nb_hashes': 0,
        'time_to_live': 2147483647,
        'in_memory': False,
        'block_cache_enabled': False,
        'compression': 'NONE'
    }
}

• put(row, data, timestamp=None, wal=True)：插入数据，无返回值
  
  • row: 行
  • data: 数据，dict类型，{列:值}构成，列与值皆为str类型
  • timestamp：时间戳，默认None，即写入当前时间戳
  • wal：是否写入wal，默认为True

# 在row1行,cf:1列插入值1
table.put("row1",{"cf:1":"1"})

• regions()：检索此表的区域服务器信息

info = table.regions()
print info

# [{'name': 'ddd_ch,,1514948783663.caccaafa3df04cd75737a9effb5615d4.', 'server_name': 'slave3', 'port': 16020, 'end_key': '', 'version': 1, 'start_key': '', 'id': 1514948783663L}]

• row(row, columns=None, timestamp=None, include_timestamp=False)：获取一行数据，返回一个dict
  
  • row：行
  • columns: 列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列
  • timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
  • include_timestamp：是否返回时间戳数据，默认为False

info = table.row(row, columns=None, timestamp=None, include_timestamp=False)

• rows(rows, columns=None, timestamp=None, include_timestamp=False)：获取多行数据，返回一个list
  
  • rows：行，可传入一个list或tuple来指定获取
  • columns: 列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列
  • timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
  • include_timestamp：是否返回时间戳数据，默认为False

info = table.rows(rows, columns=None, timestamp=None, include_timestamp=False)

• scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)：获取一个扫描器，返回一个generator
  
  • row_start：起始行，默认None，即第一行，可传入行号指定从哪一行开始
  • row_stop：结束行，默认None，即最后一行，可传入行号指定到哪一行结束(不获取此行数据)
  • row_prefix：行号前缀，默认为None，即不指定前缀扫描，可传入前缀来扫描符合此前缀的行
  • columns：列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列
  • filter：过滤字符串
  • timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
  • include_timestamp：是否返回时间戳数据，默认为False
  • batch_size：用于检索结果的批量大小
  • scan_batching：服务端扫描批处理
  • limit：数量
  • sorted_columns：是否返回排序的列(根据行名称排序)
  • reverse：是否执行反向扫描

scanner = table.scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)

常见问题

• thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol ‘e’\
  解决：找到虚拟环境下的Lib\site-packages\thriftpy\parser\parser.py，line 488，进行如下操作：

if url_scheme == '':

修改为：

if len(url_scheme) <= 1:

相较于Hbase-Thrift，博主更建议使用HappyBase。