spark保存数据到hbase_用spark导入数据到hbase

最新推荐文章于 2021-06-10 11:27:19 发布
最新推荐文章于 2021-06-10 11:27:19 发布
阅读量323 收藏 1
点赞数
文章标签： spark保存数据到hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39698255/article/details/112021302
版权

packagescala;importjava.util.ArrayList;importjava.util.Iterator;importjava.util.List;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.KeyValue;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.client.Table;importorg.apache.hadoop.hbase.io.ImmutableBytesWritable;importorg.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;importorg.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;importorg.apache.hadoop.hbase.util.Bytes;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.input.TextInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.function.PairFlatMapFunction;importorg.apache.spark.storage.StorageLevel;importutil.HFileLoader;public classHbaseBulkLoad {private static final String ZKconnect="slave1,slave2,slave3:2181";private static final String HDFS_ADDR="

最低0.47元/天 解锁文章
weixin_39698255
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 批量写数据入HBase
mach_learn的专栏
06-02 3650
介绍   工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据，花费时间大概20分钟左右，本文Spark可用核数量为20。
Spark 将csv文件 自动化导入 hbase表
pot成长之路
01-25 1066
import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org...
HBase实践：Spark批量写入HBase 2.x版本
徐腾瑞的博客
06-10 658
1. 先把RDD转成RDD[Put]类型 dataRDD.repartition(100) .foreachPartition(partition => { val hBaseConfiguration = HBaseConfiguration.create() hBaseConfiguration.set("hbase.zookeeper.quorum", zookeeper) hBaseConfiguration.set("zooke
Spark入Hbase的四种方式效率对比
weixin_33748818的博客
03-05 582
一、方式介绍 本次测试一种采用了四种方式进行了对比，分别是：1.在RDD内部调用java API。2、调用saveAsNewAPIHadoopDataset（）接口。3、saveAsHadoopDataset（）。4、BulkLoad方法。 测试使用的大数据版本如下（均为单机版）：Hadoop2.7.4、Hbase1.0.2、Spark2.1.0 二、测试 本次测试采用10W条单一列簇单一...
spark 操作 hbase 之写入 hbase
heqingcool的博客
06-03 3971
1 概述 在大数据的应用场景中，hbase常用在实时读写。 写入 HBase 的方法大致有以下几种： ​ 1）Java 调用 HBase 原生 API，HTable.add(List(Put))。 ​ 2）使用 TableOutputFormat 作为输出。 ​ 3）Bulk Load，先将数据按照 HBase 的内部数据格式生成持久化的 HFile 文件，然后复制到合适的位置并通知 RegionServer ，即完成海量数据的入库。其中生成 Hfile 这一步可以选择 MapReduce
spark读取hbase数据，并使用spark sql保存到mysql
09-24
至此，我们就完成了从 HBase 读取数据并将其保存到 MySQL 的过程。这个过程的关键在于理解 Spark、HBase 和 MySQL 之间的交互机制，以及正确配置它们的连接参数。通过使用 DataFrame API 和 Spark SQL，可以方便地在...
SparkStreaming_HBase:将从Kafka收集过来的数据保存到HBase中
04-20
SparkStreaming_HBase将从Kafka收集过来的数据保存到HBase中数据来源：日志生成器。 编写一个python工程，用于产生行为日志，每运行一次，产生所设定的数量数据，使用Linux的定时器，每隔60s执行一次，行为日志保存...
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
本篇文章将详细探讨如何使用 Scala 和 Spark 的 Resilient Distributed Datasets (RDDs) 与 HBase 进行交互，包括读取、写入以及删除数据。 首先，我们需要理解 Spark RDD。RDD 是 Spark 的基本数据抽象，它是不可...
Kafka集成Spark Streaming并写入数据到HBase
01-17
1. **创建项目**：在Eclipse中使用Maven项目，导入所需的Spark、Kafka和HBase相关依赖库。 2. **配置连接**：设置Kafka消费者配置，包括bootstrap servers、group id等，以及HBase的Zookeeper连接信息。 3. **创建...
spark 存入hbase_Spark 使用Java 写入 HBase
weixin_39584405的博客
12-19 303
实例代码：package com.bigdata.spark.hbase;import java.io.IOException;import java.util.List;import java.util.regex.Pattern;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseCon...
aop 多数据源
TimeShare1的博客
10-16 246
此方法是在需要使用的地方加上自定义注解@DataSource 根据注解下这个方法的传参 注意: (规定参数命名) 配置文件yml spring: datasource: type: com.zaxxer.hikari.HikariDataSource hikari: minimum-idle: 5 maximum-pool-size: 15 auto-commit: true idle-timeout: 30000 poo
spark 存入hbase_Spark DataFrame写入HBase的常用方式
weixin_40004057的博客
12-19 417
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark ...
spark将数据写入hbase以及从hbase读取数据
热门推荐
古月慕南的代码世界
10-15 6万+
本文将介绍 1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase 2、spark从hbase中读取数据并转化为RDD 操作方式为在eclipse本地运行spark连接到远程的hbase。 java版本：1.7.0 scala版本：2.10.4 zookeeper版本：3.4.5（禁用了hbase自带zoo
HBase与MapReduce的集成（通过bulkload的方式批量加载数据到HBase当中去)
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-20 9402
加载数据到HBase当中去的方式多种多样， 我们可以使用HBase的javaAPI或者使用sqoop将我们的数据写入或者导入到HBase当中去， 但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下， 我们也可以通过MR的程序，将我们的数据直接转换成HBase的最终存储格式HFile， 然后直接load数据到HBase当中去即可 HFile HBase 中每张...
"main" java.io.IOException: Mkdirs failed to create /user/centos/hbase-staging (exists=false, cwd=fi...
weixin_30492601的博客
06-05 1371
Exception in thread "main" java.io.IOException: Mkdirs failed to create /user/centos/hbase-staging (exists=false, cwd=file:/home/centos) at org.apache.hadoop.fs.ChecksumFileSystem.create(...
HBase之Bulk load
weixin_45083592的博客
09-12 305
Bulk load MapReduce程序开发 通过MapReduce准备好数据文件（Store Files） 批量将数据装载到表 方便数据备份，每天都会将对应的数据导出为CSV文本文件，并上传到HDFS。我们需要做的就将HDFS上的文件导入到HBase中。 因为我们只需要将数据读取出来，然后生成对应的Store File文件 1.在HBase中创建好表 create_namespace "ITCAST_BANK" # disable "TRANSFER_RECORD" # drop "TRANSFER_R
spark 存入hbase_【开发案例】Spark案例：从Hive读取数据再写入HBase
weixin_39631932的博客
12-19 720
Spark案例：从Hive读取数据再写入HBase1.1场景说明适用版本FusionInsight HD V100R002C70、FusionInsight HD V100R002C80。场景说明假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元...
Spark2.1.1<spark写入Hbase的三种方法性能对比>
Gpwner的博客
06-21 1万+
测试条件以下是我的PC信息 依赖：<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version> </dependency>
spark操作hbase详细讲解
流的博客
04-14 1万+
1.java API实现对hbase的操作 package testhbase; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import...
用spark抽取hive数据到HBASE
最新发布
03-30
要将Hive数据抽取到HBase中，可以使用Spark的Hive和HBase的集成功能。以下是一个简单的流程： 1. 在Hive中创建一个表，该表的数据将被抽取到HBase中： ``` CREATE TABLE hive_table ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 2. 在HBase中创建一个表，该表将用来存储从Hive表中抽取的数据： ``` create 'hbase_table', 'cf' ``` 3. 在Spark应用程序中，使用Spark的HiveContext加载Hive表： ``` val hiveContext = new HiveContext(sparkContext) val hiveTable = hiveContext.sql("SELECT * FROM hive_table") ``` 4. 将Hive表中的数据转换为HBase表中的数据： ``` val hbaseTable = hiveTable.map(row => { val id = row.getInt(0) val name = row.getString(1) val age = row.getInt(2) val put = new Put(Bytes.toBytes(id)) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("name"), Bytes.toBytes(name)) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("age"), Bytes.toBytes(age)) (new ImmutableBytesWritable(Bytes.toBytes(id)), put) }) ``` 5. 将转换后的数据保存到HBase中： ``` val conf = HBaseConfiguration.create() hbaseTable.saveAsNewAPIHadoopDataset(conf) ``` 这样，就可以将Hive表中的数据抽取到HBase中了。需要注意的是，需要引入相关的依赖和配置文件，例如Hive和HBase的JAR包、Hive和HBase的配置文件等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值