spark整合hbase数据库
在实际生产过程中,因为数据的复杂性,我们通常将处理好的数据缓存到hbase中。
本篇文章目的在于在学习过程中做笔记,以备后面的巩固复习。
代码如下
package com.aura.bigdata.dmp.util
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory}
//获得hbase的HBaseConnection对象
object HBaseConnectionUtil {
def getConnection(): Connection = {
val conf:Configuration = HBaseConfiguration.create()
//设置hbase访问路径,set参数取决于hadoop安装目录中的hdfs- site.xml
conf.set("hbase.rootdir", ""hbase.rootdir","hdfs://bd1807/hbase"")
conf.set("hbase.zookeeper.quorum", "huaxia01:2181,huaxia02:2181,huaxia03:2181")
//connect不可被实例化,通过ConnectionFactory创建实例对象
val connection = ConnectionFactory.createConnection(conf)
connection
}
def main(args: Ar