批量(bulkload)载入数据到hbase

最新推荐文章于 2024-08-01 04:39:02 发布
最新推荐文章于 2024-08-01 04:39:02 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： java hbase 文章标签： hbase mapreduce java bulkload
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apexlj/article/details/47727677
版权
本文介绍了如何使用HBase的批量加载功能提高数据导入效率。通过MapReduce将源数据转换为HFile格式，然后利用HBaseBulkLoadDriver和CanMapper进行处理，最终使用HBaseBulkLoad工具将HFile文件导入到HBase中，实现快速的数据批量导入。
摘要由CSDN通过智能技术生成

HBase提供了操作表的java api，但是这种方式是单条数据插入，对于大量数据载入来说效率太低。
对于批量数据导入，直接生成HBase的内部存储结构：HFile，并将其导入到Hbase中的效率无疑是最高。
步骤如下：

  1. 通过mapreduce将源数据导出为HFile文件
    HBaseBulkLoadDriver.java
import com.sq.platform.hbaseLoadService.constant.MapperType;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop
最低0.47元/天 解锁文章
apexlj
关注
专栏目录
hadoop组件---hbase--海量数据使用importtsv和Bulk load导入hbase最详细实践
直到世界的尽头
03-21 4700
我们本章来探索海量数据使用importtsv和Bulk load导入hbase最详细实践。 我们之前已经尝试了使用kettle把mongodb的数据导入hbase，但是发现速度比较慢。 单机kettle导入hbase，6700万条数据使用了27个小时，4亿多条数据需要的时间就更多了。 情况介绍 HBase本身提供了很多种数据导入的方式，目前常用的有三种常用方式： 1、使用HBase原...
HBase总结（十九）数据导入方式
热门推荐
Java海洋
12-09 1万+
*). Client API实现 借助HBase的Client API来导入, 是最简易学的方式. Configuration config = HBaseConfiguration.create(); // 配置hbase.zookeeper.quorum: 后接zookeeper集群的机器列表 config.set("hbase.zookeeper.quorum", "tw-nod
java hdfs导入hbase_通过BulkLoad快速将海量数据导入到Hbase[Hadoop篇]
weixin_35903223的博客
02-26 398
在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所以很不适合一次性导入大量数据。本文将针对这个问题介绍如何通过Hbase的BulkLoad方法来快速将海量数据导入到Hbase中。总的来说，使用 Bulk Load 方式由于利用了实现...
HBase 写优化之 BulkLoad 实现数据快速入库
wisgood的专栏
12-26 1万+
转自 http://my.oschina.net/leejun2005/blog/187309 目录[-] 1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？ 2、bulkload 流程与实践 3、说明与注意事项： 4、Refer： 1、为何要 BulkLoad 导入？传统的
hbase java bulkload
最新发布
weixin_29231725的博客
08-01 42
给大家整理了一些有关【Java,HBase】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/35714.htmlhttps://edu.51cto.com/course/31545.htmlHBase Java Bulk Load：高效数据导入的利器 HBase是一种开源的分布式...
java hbase创建_HBase基础学习之bulkload了解
weixin_39629093的博客
11-22 192
之前在学习importTSV我们准备两份数据这两份数据在导入hbase后，数据还是存在的，我们如果想要实现和hive中类似“剪切”的功能该怎么办？这种可以跨过先写入memstore，直接将数据转换为storefile文件。我们来操作第一步：转换为Hfile执行语句/opt/bigdata/hadoop-2.7.3/bin/yarn jar /opt/bigdata/hbase-1.2.1/lib/...
批量Load到HBase
程序之路
06-05 1859
hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。 如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。 批量导入HBase主要分两步： 通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile
hbase--BulkLoad
qq_46893497的博客
03-07 355
BulkLoad1、Hbase中导入数据的两种方式方式一：通过Put对象将每一个Rowkey每一列的数据写入Hbase方式二：BulkLoad2、BulkLoad 1、Hbase中导入数据的两种方式 方式一：通过Put对象将每一个Rowkey每一列的数据写入Hbase 例如 JavaAPI Hbase shell命令 MapReduce 写入 WAL memstore storefile 问题 并发写入的数据量非常的大 程序一运行，内存的负载立马增高 大量的数据写入Region的MemSt
Spark BulkLoad批量读写Hbase
lyd882的博客
02-28 1591
Spark BulkLoad批量读写Hbase Spark读写Hbase，不要使用put逐条数据插入，效率太低了，要使用批量导入的方式！要分Hbase版本来做不同处理： Hbase 1.x版本 依赖： <!-- spark2.x依赖省略 ---> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client&lt
Hbase的bulkload流程与实践
小强签名设计 的博客
06-15 2933
通常MapReduce在写HBase时使用的是方式，在 reduce 中直接生成 put 对象写入HBase，该方式在大数据量写入时效率低下（HBase 会 block 写入，频繁进行 flush、split、compact 等大量 IO 操作），并对HBase节点的稳定性造成一定的影响（GC 时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持bulk load的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile。
BulkLoadHive2Hbase
09-17
工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据 工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据
Phoenix通过MapReduce对HBase批量导入数据
一叶_障目
03-07 2483
在用该方法之前，请确保hadoop、hbase、phoenix已经启动。在phoenix的安装目录下使用以下代码，启动MRHADOOP_CLASSPATH=/opt/hbase-0.98.8-hadoop2/conf hadoop jar phoenix-4.9.0-HBase-0.98-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool
hbase bulkload java,HBase Bulkload 失败问题处理以及改进
weixin_39945679的博客
03-09 811
某天某应用找到我，说线上bulkload导入数据到HBase失败check了一下MR日志，报错如下org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.groupOrSplitPhase(LoadIncrementalHFiles.java:591)|||IOException during splittingjava.ut...
【HBase高级】3. HBase批量装载——Bulk load（1）Bulk load简介与案例介绍
CSDNGuoYuying的博客
02-01 1902
很多时候，我们需要将外部的数据导入到HBase集群中，例如：将一些历史的数据导入到HBase做备份。我们之前已经学习了HBase的Java API，通过put方式可以将数据写入到HBase中，我们也学习过通过MapReduce编写代码将HDFS中的数据导入到HBase。但这些方式都是基于HBase的原生API方式进行操作的。这些方式有一个共同点，就是需要与HBase连接，然后进行操作。HBase服务器要维护、管理这些连接，以及接受来自客户端的操作，会给HBase的存储、计算、网络资源造成较大消耗。
第十七记·Java操作HBase进行Bulkload方法导入数据
玖局下半的博客
07-27 4185
XY个人记     在第十四记·HBase与MapReduce的集成整合与常用操作中，我们通过HBase shell 进行了Bulkload方式导入数据，Bulkload的方法利用HBase数据按照HFile格式存储在HDFS的原理，使用Mapreduce直接生成HFile格式文件后，RegionServers再将HFile文件移动到相应的Region目录下，这样的方法的有点在于导入过程不占用R...
java hdfs导入hbase_使用BulkLoad批量导入数据到HBase中
weixin_30825389的博客
02-26 339
说明BulkLoad将数据批量导入HBase中。支持通过命令行和API两种操作方式。命令行包含如下两个步骤：ImportTsvCompleteBulkLoad准备工作在HDFS创建临时目录hdfs dfs -mkdir /tmp/bulkload创建本地文件user[root@ctrl ~]# cat user10000001,Sam,1810000002,Jack,2410000003,Kitt...
HBase快速导入数据--BulkLoad
liushaobo的专栏
08-05 1万+
Apache HBase是一个分布式的、面向列的开源数据库，它可以让我们随机的、实时的访问大数据。但是怎样有效的将数据导入到HBase呢？HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API，但是这些都不非常有效的方法。 Bulkload利用MapReduce作业输出HBase内部数据格式的表数据，然后
Java spark bulkload到hbase
qq_33023859的博客
08-01 534
import com.alibaba.fastjson.JSONObject; import com.xc.engine.core.utils.HbaseConnection; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HRegio
HBase BulkLoad批量写入数据
03-29
HBase的BulkLoad（批量加载）是一种高效的方式，可以将大量数据快速地导入到HBase表中。相比于逐条写入数据，BulkLoad可以减少网络传输、HBase服务端处理和数据文件写入的开销，从而提高数据导入的速度。 BulkLoad的实现方式是将数据先写入到一个HFile文件中，然后再将HFile文件上传到HDFS中，最后使用HBase的BulkLoad API将数据加载到HBase表中。这个过程需要以下步骤： 1. 创建HFile文件：使用HBase的HFileOutputFormat工具类可以创建一个HFile文件，将数据写入到该文件中。 2. 将HFile文件上传到HDFS：使用Hadoop的hdfs命令或者Java API将HFile文件上传到HDFS中。 3. 加载HFile文件到HBase表中：使用HBase的BulkLoad API将HFile文件加载到HBase表中。 BulkLoad的优点是可以快速地导入大量数据，但是需要注意以下几点： 1. BulkLoad需要手动编写代码实现，需要一定的编程技能。 2. BulkLoad需要将数据写入到HFile文件中，如果数据量太大可能会导致HFile文件过大，需要考虑分片等优化策略。 3. BulkLoad需要将HFile文件上传到HDFS中，如果网络传输较慢可能会影响导入速度。 总之，BulkLoad是一种高效的数据导入方式，可以加快大量数据的导入速度，但需要注意数据量、网络传输等因素对导入速度的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值