Hbase
cleargy
这个作者很懒,什么都没留下…
展开
-
Scala下foreachPartition + Hbase快速写
介绍 工作中常常会遇到这种情形,需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据,花费时间大概20分钟左右,本文Spark可用核数量为20。 本文使用spark版本为1.3.0,hbase版本为0.98.1 hba...原创 2018-11-19 18:23:11 · 1200 阅读 · 0 评论 -
Spring + Hbase整合
1、版本说明 (1)spring版本:4.3.9.RELEASE (2)Hbase版本:1.1.2 (3)Hadoop版本:2.7.1 Hbase和hadoop的版本一定要与集群上的版本一致,不然程序会报方法不存在的各种异常! 2、Hbase和Hadoop的pom <!-- habse --> <dependency> <groupId>o...原创 2018-12-09 12:16:41 · 2691 阅读 · 0 评论