![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
人生有如两个橘子
非本专业的专业人士,“钢之炼金术师”退变为“搬砖码农”
展开
-
Hive映射Hbase
Hbase表已存在 在Hive里只能创建外部表与其映射 删除Hive表的同时不会删除Hbase表及数据 数据最终存在Hbase中 不能使用load方式向hive导入数据 hive建外部表语句样例:CREATE EXTERNAL TABLE person(key int,name string,age int)STORED BY 'org....原创 2019-11-19 17:18:08 · 683 阅读 · 0 评论 -
Hbase调优
架构图来一张:I am client:GO大量数据通过client开始写入Hbase,作为一个有经验的程序员,此时我们应该有想到批量提交,设置为8M好了。hbase.client.write.buffer = 2097152 #默认2M。hbase客户端每次写缓冲的大小(客户端批量提交到服务端),会同时占用客户端和服务端,缓冲区更大可以减少RPC次数,但是更大意味着内存占用更...原创 2019-10-18 17:16:34 · 391 阅读 · 0 评论 -
Hbase 批量导入 bulk loading
hbase超大量数据导入方式,原理就是提前生成相应的Hfile文件,再导入hbase中。要导入数据的列相同的情况,使用现成的预定义工具importtsv 要导入数据的列不相同的情况,自定义MR实现importtsv说明:$output为Hfile文件生成的hdfs路劲,$input为要处理文件存放的hdfs路劲,$table为要导入hbase表名http://abloz.com/h...原创 2019-10-18 17:21:36 · 871 阅读 · 0 评论