spark如何导入数据到hbase数据库

本文介绍了如何在生产环境中使用Spark将处理后的数据导入到HBase数据库。首先确保Zookeeper、HDFS和HBase正常启动,然后在HBase shell中检查表名。接着,展示了一段代码示例,用于将RDD数据写入HBase表,并验证了数据导入的成功。
摘要由CSDN通过智能技术生成

spark整合hbase数据库

在实际生产过程中,因为数据的复杂性,我们通常将处理好的数据缓存到hbase中。
本篇文章目的在于在学习过程中做笔记,以备后面的巩固复习。

代码如下

package com.aura.bigdata.dmp.util

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory}

//获得hbase的HBaseConnection对象
object HBaseConnectionUtil {

    def getConnection(): Connection = {
        val conf:Configuration = HBaseConfiguration.create()
        //设置hbase访问路径,set参数取决于hadoop安装目录中的hdfs-	    site.xml
        conf.set("hbase.rootdir", ""hbase.rootdir","hdfs://bd1807/hbase"")
        conf.set("hbase.zookeeper.quorum", "huaxia01:2181,huaxia02:2181,huaxia03:2181")

        //connect不可被实例化,通过ConnectionFactory创建实例对象
        val connection = ConnectionFactory.createConnection(conf)
        connection
    }

    def main(args: Ar
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值