Hbase
任何忧伤都抵不过世界的美丽
这个作者很懒,什么都没留下…
展开
-
Bulk Load-HBase数据导入最佳实践
一、概述HBase本身提供了很多种数据导入的方式,通常有两种常用方式:1、使用HBase提供的TableOutputFormat,原理是通过一个Mapreduce作业将数据导入HBase2、另一种方式就是使用HBase原生Client API这两种方式由于需要频繁的与数据所存储的RegionServer通信,一次性入库大量数据时,特别占用资源,所以都不是最有效的。了解过HBase底层原理...原创 2019-07-01 23:33:44 · 263 阅读 · 0 评论 -
bitmap类型数据导入hbase
create 'hfiletableBitmap','fm1','fm2'准备数据:vim data_bitmap.txtkey1 fm1:col1 100key1 fm1:col2 200key1 fm2:col1 300key4 fm1:col1 400hadoop fs -put data_b...原创 2019-07-01 23:33:04 · 1222 阅读 · 0 评论 -
linux安装protobuf( java开发)
说明:protobuf已经全面迁移到github,地址:https://github.com/google/protobuf直接下载2.6.1版本:https://github.com/google/protobuf/archive/v2.6.1.zip$wget https://github.com/google/protobuf/archive/v2.6.1.zip$unzip pro...原创 2019-06-27 08:27:19 · 789 阅读 · 0 评论 -
HBase自定义hbase协处理器endpoint和遇到的问题
hbase rpc采用protobuf作为数据交换格式,自定义协处理器需要先创建一个protobuf作为rpc的client端和server端的数据请求和响应载体,在windows环境下需下载protobuf工具,如:protoc-2.5.0-win32.zip地址:http://download.csdn.net/detail/javajxz008/9616971解压至文件夹protoc-...转载 2019-07-01 23:34:49 · 515 阅读 · 0 评论