hbase
听见下雨的声音hb
一期一会,IT人生
展开
-
Spark写入HBase(BulkLoad方式)
在使用Spark时经常需要把数据落入HBase中,如果使用普通的Java API,写入会速度很慢。Spark提供了Bulk写入方式的接口。那么Bulk写入与普通写入相比有什么优势呢?BulkLoad不会写WAL,也不会产生flush以及split。 如果我们大量调用PUT接口插入数据,可能会导致大量的GC操作。除了影响性能之外,严重时甚至可能会对HBase节点的稳定性造成影响。但是采用Bul...原创 2020-04-20 14:36:19 · 1418 阅读 · 1 评论 -
自定义mapreduce连接hbase
遇到的问题总结:1、map中进行数据的清洗2、reduce中进行逻辑上的处理3、本地连接时,必需配置本地的host和集群中的相同,不然会连接失败(本地模式)4、在集群上运行时,一定要把依赖包打入,采用hadoop jar xxx.jar args[0] args[1] ...(集群模式)代码详情MAIN import org.apache.hadoop.conf.Con原创 2017-03-21 20:25:11 · 470 阅读 · 0 评论 -
Hbase整合hive
HBase是被设计用来做k-v查询的,但有时候,也会遇到基于HBase表的复杂统计,写MR很不方便。Hive考虑到了这点,提供了操作HBase表的接口。使用Hive操作HBase中的表,只是提供了便捷性,对于性能上,较MapReduce并不会提升太多,请大家酌情使用(建议只用于离线查询)1、在hbase中创建好表(通过hbase shell命令创建)2、在hive中创建于hbase对应的原创 2017-05-20 11:14:02 · 440 阅读 · 0 评论 -
hbase shell常用操作指令
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的转载 2017-06-24 10:13:23 · 677 阅读 · 0 评论