【Spark实战系列】sparkstreaming 实时写入 Hbase(saveAsNewAPIHadoopDataset) 方法

最新推荐文章于 2023-05-04 23:00:00 发布

JasonLee实时计算

最新推荐文章于 2023-05-04 23:00:00 发布

阅读量4.6k

点赞数 3

分类专栏： Spark 实战系列 hbase 文章标签： hbase sparkstreaming

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/85301998

版权

Spark 实战系列同时被 2 个专栏收录

41 篇文章 289 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

hbase

7 篇文章 0 订阅

订阅专栏

本文介绍如何使用SparkStreaming的saveAsNewAPIHadoopDataset新API将数据实时写入Hbase，提供了相关代码示例，并欢迎大家交流讨论。

摘要由CSDN通过智能技术生成

之前的博客中也写过sparkstreaming批量写入hbase,今天主要介绍一下用新的API写入Hbase,直接看代码吧:

package hbase

import kafka.PropertiesScalaUtils
import net.sf.json.JSONObject
import org.apache.hadoop.hbase.client.{Put, Result}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.mapreduce.Job
import org.apache.spark.SparkConf
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
import spark.wordc