HBase实践：Spark批量写入HBase 2.x版本

最新推荐文章于 2023-02-27 19:25:39 发布

XuTengRui

最新推荐文章于 2023-02-27 19:25:39 发布

阅读量712

点赞数 1

分类专栏： HBase 文章标签：大数据 hbase 数据库数据仓库

本文链接：https://blog.csdn.net/blackarmand/article/details/117773123

版权

HBase 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

本文介绍如何将Spark RDD转换为RDD[Put]类型，并通过BufferedMutator实现高效地向HBase批量写入数据的过程。具体步骤包括：重新分区、配置HBase连接参数、创建连接和设置写缓冲区大小。

摘要由CSDN通过智能技术生成

1. 先把RDD转成RDD[Put]类型

2. HBase2.x版本api改变很大，这里使用 BufferedMutator 写入数据

dataRDD.repartition(100)
      .foreachPartition(partition => {
        val hBaseConfiguration = HBaseConfiguration.create()
        hBaseConfiguration.set("hbase.zookeeper.quorum", zookeeper)
        hBaseConfiguration.set("zookeeper.znode.parent", "/hbase")
        hBaseConfiguration.set("hbase.zookeeper.property.clientPort", "2181")
        val connection = ConnectionFactory.createConnection(hBaseConfiguration)
        val mutatorParams = new BufferedMutatorParams(TableName.valueOf(tableName)).writeBufferSize(4 * 1024 * 1024)
        val bufferedMutator = connection.getBufferedMutator(mutatorParams)
        import scala.collection.JavaConversions._
        bufferedMutator.mutate(partition.toSeq)
        bufferedMutator.flush()
        bufferedMutator.close()
      })