spark 数据写入到 hbase

1)spark把数据写入到hbase需要用到:PairRddFunctions的saveAsHadoopDataset方法,这里用到了 implicit conversion,需要我们引入

import org.apache.spark.SparkContext._

2)spark写入hbase,实质是借用了org.apache.hadoop.hbase.mapreduce.TableInputFormat这个对象,用其内部的recorderWriter将数据写入hbase

同时,也借用了hadoop的JobConf,配置和写MR的配置方式一样

3)请看下面代码,这里使用sparksql从hive里面读出数据,经过处理,写入到hbase

package savehbase

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapred.TableOutputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapred.JobConf
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}

object SaveHbase3 {
  def main(args: Array[String]): Unit = {
    val config = HBaseConfiguration.create()
    val jobCo
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark可以通过HiveContext来读取Hive数据,然后通过HBase API将数据写入HBase。具体步骤如下: 1. 创建SparkConf和SparkContext对象。 2. 创建HiveContext对象,通过HiveContext对象读取Hive数据。 3. 将Hive数据转换为RDD。 4. 创建HBaseConfiguration对象,设置HBase相关配置。 5. 创建HBase表,如果表已经存在,则不需要创建。 6. 将RDD中的数据写入HBase表中。 示例代码如下: ``` import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.{ConnectionFactory, Put} import org.apache.hadoop.hbase.util.Bytes import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext object SparkHiveToHBase { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("SparkHiveToHBase") val sc = new SparkContext(sparkConf) val hiveContext = new HiveContext(sc) // 读取Hive数据 val df = hiveContext.sql("SELECT * FROM my_table") // 将DataFrame转换为RDD val rdd = df.rdd // 创建HBaseConfiguration对象 val hbaseConf = HBaseConfiguration.create() // 设置HBase相关配置 hbaseConf.set("hbase.zookeeper.quorum", "localhost") hbaseConf.set("hbase.zookeeper.property.clientPort", "2181") // 创建HBase表 val tableName = TableName.valueOf("my_table") val connection = ConnectionFactory.createConnection(hbaseConf) val admin = connection.getAdmin if (!admin.tableExists(tableName)) { val tableDesc = new HTableDescriptor(tableName) tableDesc.addFamily(new HColumnDescriptor("cf".getBytes)) admin.createTable(tableDesc) } // 将RDD中的数据写入HBase表中 rdd.foreachPartition(partition => { val connection = ConnectionFactory.createConnection(hbaseConf) val table = connection.getTable(tableName) partition.foreach(row => { val put = new Put(Bytes.toBytes(row.getString())) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col1"), Bytes.toBytes(row.getString(1))) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col2"), Bytes.toBytes(row.getString(2))) table.put(put) }) table.close() connection.close() }) sc.stop() } } ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值