spark读写Hbase数据

最新推荐文章于 2024-01-20 12:36:48 发布

我是浣熊的微笑

最新推荐文章于 2024-01-20 12:36:48 发布

阅读量248

点赞数 1

分类专栏： spark

本文链接：https://blog.csdn.net/gz1993/article/details/103407977

版权

本文档记录了如何使用Spark将计算结果写入Hbase。主要内容包括了在Maven项目中添加Hbase客户端和服务器的依赖，以及排除不必要的日志库。

摘要由CSDN通过智能技术生成

计算结果数据需要写入Hbase，特此记录

首先贴出hbase需要的maven依赖

<hbase.version>1.2.3</hbase.version>

<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>${hbase.version}</version>
<exclusions>
<exclusion>
<artifactId>slf4j-log4j12</artifactId>
<groupId>org.slf4j</groupId>
</exclusion>
</exclusions>
</dependency>

<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>${hbase.version}</version>
</dependency>

package sparkHbase

import java.util.logging.{Level, Logger}

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.client.Scan
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.protobuf.ProtobufUtil
import org.apache.hadoop.hbase.util.{Base64, Bytes}
import