Java实现Spark将DataFrame写入到HBase

最新推荐文章于 2024-06-28 19:40:35 发布
最新推荐文章于 2024-06-28 19:40:35 发布
阅读量1.8k 收藏 5
点赞数 1
文章标签： Spark HBase Java DataFrame MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014736152/article/details/89555465
版权
本文介绍了如何利用Java编程，在Apache Spark环境中将DataFrame数据有效地写入到HBase数据库。内容涵盖所需的依赖库，具体的功能实现代码，并展示了操作结果。期待读者提供优化建议。
摘要由CSDN通过智能技术生成

需要的包：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.mapreduce.Job;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;
import java.util.
最低0.47元/天 解锁文章
冬哥不是东哥
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark的DataFrame、RDD写入到HBase的方法（Scala）
恩特尔派
01-10 3087
一、使用DataFrame.saveAsHadoopDataset(conn)方法。 特点：适合做批量的写入。优点为批量写入方便快捷。缺点对于数据量大的DF写入速度太慢。 val conn = new JobConf(HBaseConfigurationcreate())//设置HBase连接 conn.set(,) conn.set(,)//设置Host和Port conn.set(TableO...
spark 存入hbase_Spark 使用Java 写入 HBase
weixin_39584405的博客
12-19 307
实例代码：package com.bigdata.spark.hbase;import java.io.IOException;import java.util.List;import java.util.regex.Pattern;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseCon...
Spark DataFrame写入HBase的常用方式
weixin_34302798的博客
02-28 518
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。 因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可... 代码在sp...
DataFrame 的函数详解
最新发布
weixin_44771582的博客
06-28 604
14、 groupBy(col1: String, cols: String*) 根据某写字段来汇总返回groupedate类型 df.groupBy(“age”).agg(Map(“age” ->“count”)).show();21、 selectExpr(exprs: String*) 做字段的刷选 df.selectExpr(“name”,“name as names”,“upper(name)”,“age+1”).show();
spark运算结果写入hbase及优化
weixin_30294295的博客
02-26 255
在Spark中利用map-reduce或者spark sql分析了数据之后，我们需要将结果写入外部文件系统。 本文，以向Hbase中写数据，为例，说一下，Spark怎么向Hbase中写数据。 首先，需要说一下，下面的这个方法。 foreach (func) 最通用的输出操作，把func作用于从map-reduce生成的每一个RDD(spark sql生成的DataFrame可...
spark 操作 hbase 之写入 hbase
heqingcool的博客
06-03 4045
1 概述 在大数据的应用场景中，hbase常用在实时读写。 写入 HBase 的方法大致有以下几种： ​ 1）Java 调用 HBase 原生 API，HTable.add(List(Put))。 ​ 2）使用 TableOutputFormat 作为输出。 ​ 3）Bulk Load，先将数据按照 HBase 的内部数据格式生成持久化的 HFile 文件，然后复制到合适的位置并通知 RegionServer ，即完成海量数据的入库。其中生成 Hfile 这一步可以选择 MapReduce
spark 存入hbase_Spark DataFrame写入HBase的常用方式
weixin_40004057的博客
12-19 440
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark ...
spark 数据写入到 hbase
potter
07-26 2696
1）spark把数据写入到hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了 implicit conversion，需要我们引入 import org.apache.spark.SparkContext._ 2）spark写入hbase，实质是借用了org.apache.hadoop.hbase.mapreduce.TableInpu...
spark 存入hbase_【开发案例】Spark案例：从Hive读取数据再写入HBase
weixin_39631932的博客
12-19 729
Spark案例：从Hive读取数据再写入HBase1.1场景说明适用版本FusionInsight HD V100R002C70、FusionInsight HD V100R002C80。场景说明假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元...
hbase+dataframe+java,spark踩坑——dataframe写入hbase连接异常
weixin_31419153的博客
03-19 163
最近测试环境基于shc[https://github.com/hortonworks-spark/shc]的hbase-connector总是异常连接不到zookeeper，看下报错日志：18/06/20 10:45:02 INFO RecoverableZooKeeper: Process identifier=hconnection-0x5175ab05 connecting to ZooKe...
Kafka集成Spark Streaming并写入数据到HBase
01-17
使用方法： 请使用eclipse的maven导入方式导入，代码在http://blog.csdn.net/q79969786/article/details/42793487有介绍
spark-hbase-ingestion:Spark HBase使用DataFrame进行读写
05-17
使用数据框的spark-hbase-ingestion / ** 转换记录以插入HBase的方法 @param记录 @param cf列族 @返回 */ def toHbaseRecords（记录：Array [（String，Array [（String，String）]）]，cf：String）：RDD [（Array [Byte]，Array [（Array [Byte]，Array [Byte]，Array [Byte） ]）]）] = {sc.parallelize（records.map（x =>（ct（x._1），x._2.map（x =>（ct（cf），ct（x._1），ct（ x._2）））））））} / ** HBase表中插入大容量rdd的方法 @param tableName @param rdd * / def toHbaseBulkPutRDD（t
spark 写入dataframe到hbase
Wangzx的博客
10-09 731
spark 写入dataframe到hbase import org.apache.spark.sql.SparkSession import org.apache.hadoop.mapreduce.Job import org.apache.hadoop.hbase.util.Bytes import org.apache.hadoop.conf.Configuration import org...
hbase+dataframe+java_Java实现Spark将DataFrame写入到HBase
weixin_35881620的博客
02-28 120
需要的包：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;impo...
Pyspark以DataFrame格式读写Hbase
w271255278的专栏
11-11 1712
Pyspark以DataFrame格式读写Hbase 本文代码参考了__miss的博客，特别感谢，原文地址如下 链接:https://blog.csdn.net/u011412768/article/details/93404921 我使用的环境：CDH集群，资源监控使用的yarn, spark2.3，hbase1.6 。 读写方式：Hbase默认API 默认环境大家都已配置好。代码可以...
spark 存入hbase_Spark DataFrame 写入 HBase 的常用方式
weixin_39940182的博客
12-19 343
Spark DataFrame 写入 HBase 的常用方式Spark 是目前最流行的分布式计算框架, 而 HBase 则是在 HDFS 之上的列式分布式存储引擎, 基于 Spark 做离线或者实时计算, 数据结果保存在 HBase 中是目前很流行的做法例如用户画像单品画像推荐系统等都可以用 HBase 作为存储媒介, 供客户端使用因此 Spark 如何向 HBase 中写数据就成为很重要的一个环...
spark读写hbase数据
敲码的汉子
01-17 4301
如果原始数据在hbase中，这时想用spark对hbase数据做一些批量计算，就可以用spark的api直接读写hbase数据 读取hbase数据 import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.a
spark 读取hive数据 写入hbase
03-16
Spark可以通过HiveContext来读取Hive数据，然后通过HBase API将数据写入HBase。具体步骤如下： 1. 创建SparkConf和SparkContext对象。 2. 创建HiveContext对象，通过HiveContext对象读取Hive数据。 3. 将Hive数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值