spark写入Hbase工具类

最新推荐文章于 2024-01-28 14:32:40 发布

一位不愿透露姓名的肥宅

最新推荐文章于 2024-01-28 14:32:40 发布

阅读量143

点赞数

分类专栏：大数据文章标签： hbase spark 大数据 Powered by 金山文档

本文链接：https://blog.csdn.net/qq_65303368/article/details/129401889

版权

本文详细介绍了如何使用Spark作为工具来高效地写入HBase数据。内容涵盖Spark与HBase的连接配置、数据转换以及实际写入操作，旨在帮助大数据开发者更好地理解和应用这种结合。

摘要由CSDN通过智能技术生成

package dsy.utils

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.DataFrame

object HbaseTools {
  /**
   * 将数据保存到HBase表中
   *
   * @param dataFrame    保存的数据
   * @param zkHosts      zookeeper地址
   * @param zkPort       zookeeper端口号
   * @param table        Hbase表名称
   * @param family       列簇名
   * @param rowKeyColumn RowKey字段名称
   */
  def write(
             dataFrame: DataFrame,
             zkHosts: String,
             zkPort: String,
             table: String,
             family: String,
             rowKeyColumn: String
           ): Unit = {
    //1.获取写入的字段列表与列簇