Hbase
cleargy
这个作者很懒,什么都没留下…
展开
-
Scala下foreachPartition + Hbase快速写
介绍工作中常常会遇到这种情形,需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据,花费时间大概20分钟左右,本文Spark可用核数量为20。本文使用spark版本为1.3.0,hbase版本为0.98.1hba...原创 2018-11-19 18:23:11 · 1162 阅读 · 0 评论 -
Spring + Hbase整合
1、版本说明(1)spring版本:4.3.9.RELEASE(2)Hbase版本:1.1.2(3)Hadoop版本:2.7.1Hbase和hadoop的版本一定要与集群上的版本一致,不然程序会报方法不存在的各种异常!2、Hbase和Hadoop的pom<!-- habse --><dependency> <groupId>o...原创 2018-12-09 12:16:41 · 2667 阅读 · 0 评论