hbase buldload方式写入数据

最新推荐文章于 2022-12-16 15:36:16 发布
最新推荐文章于 2022-12-16 15:36:16 发布
阅读量217 收藏
点赞数
分类专栏： 大数据技术 Shell 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/superLaner/article/details/120458923
版权

一、shell实现

1、importtsv生成hfile

#写法1
hbase  org.apache.hadoop.hbase.mapreduce.ImportTsv  -Dimporttsv.separator=, -Dimporttsv.columns='HBASE_ROW_KEY,mc:custgroupid,mc:user_no' -Dimporttsv.bulk.output=${hfilepath}/bulkload_data ${1}  ${hdfspath}

#写法2
hadoop jar $HBASE_HOME/lib/hbase-server-1.2.0-cdh5.14.0.jar importtsv

2、completebulkload写入

#写法1
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles ${hfilepath}/bulkload_data ${hbasetablename}

#写法2
hadoop jar $HBASE_HOME/lib/hbase-server-1.2.0-cdh5.14.0.jar completebulkload ${hfilepath}/bulkload_data ${hbasetablename}

superLearnner
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据HBase（十五）：HBase的Bulk Load批量加载操作
Lansonli（蓝深李）的博客
07-26 3121
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase的Bulk Load批量加载操作 一、Bulk Load 基本介绍 二、需求说明 三、准备工作 1、在hbase中创建名称空间, 并创建hbase的表 3、在项目中创建包 和 添加配置文件log4j.properties 四、将CSV数据转换为HFile文件格式数据 map 程序的代码 驱动类的代码 五、将Hfile文件格式数...
HBase 5种写入数据方式
fansy1990的专栏
02-28 9192
Version ：hadoop1.2.1; hbaes0.94.16;HBase写入数据方式，可以简单分为下面几种：1. 直接使用HTable进行导入，代码如下：package hbase.curd; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Ra
MapReduce生成HFile入库到HBase
anhuidelinger的专栏
05-08 909
一、这种方式有很多的优点： 1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。 2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种hdfs内存储的数据格式文件，然后上传至合适位置，即完成巨量数据快速入
HBase优化之bulkload写入
wdier的博客
05-09 737
1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？ 我们先看下 HBase 的写流程： 通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，co
hbase集群 数据写入_HBase BulkLoad批量写入数据实战
weixin_31629313的博客
12-23 222
1.概述在进行数据传输中，批量加载数据到HBase集群有多种方式，比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式，在导入数据的过程中，如果数据量过大，可能耗时会比较严重或者占用HBase集群资源较多(如磁盘IO、HBase Handler数等)。今天这篇博客笔者将为大家分享使用HBase BulkLoad的方式来进...
hbase的bulk load一个小改造(续)
小泥巴的玩伴
04-15 3010
之前写了一篇文章hbase的bulk load一个小改造，最近在这个改造的基础上做了一些性能测试，呵呵，在这期间发现了新的问题，对此也有了一些新的认识，在这里分享一下，欢迎大家拍砖。 之前提到hbase的bulk load是一个mapreduce任务，其中reduce的数目是表的region数目来决定的，这一点一直没有理解hbase为什么要这么做。呵呵，前两天对一个有200多个region的表进
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
本篇文章将详细探讨如何使用 Scala 和 Spark 的 Resilient Distributed Datasets (RDDs) 与 HBase 进行交互，包括读取、写入以及删除数据。 首先，我们需要理解 Spark RDD。RDD 是 Spark 的基本数据抽象，它是不可...
基于HBase的海量GIS数据分布式处理实践
01-20
系统优化了栅格数据的生成和存储过程，将海量栅格数据直接写入HBase存储、索引。同时，针对矢量空间数据的存储、索引与检索，提出了一种新的rowkey设计，既考虑经纬度，又考虑空间数据类型和属性，使得在按空间位置...
HBase读取数据快还是写数据快
cocolin2022的博客
12-16 564
HBase面试题
读写HBase数据.pdf
12-09
Spark作为一个快速、通用的大数据处理引擎，可以高效地读取和写入HBase这种分布式NoSQL数据库。下面将详细介绍如何使用Spark及pyspark进行HBase数据的读写，以及HBase的安装配置。 首先，要进行HBase的安装与配置。...
Hbase Bulkload
dengjiyu8406的博客
11-28 105
前言 Apache HBase 是目前大数据系统中应用最为广泛的分布式数据库之一。我们经常面临向 HBase 中导入大量数据的情景，通常会选择使用标准的客户端 API 对 HBase 进行直接的操作，或者在MapReduce作业中使用 TableOutputFormat 作为输出。实际上，借助 HBase 的 Bulk Load 特性可以更加便捷、快速地向HBase数据库中导入数据。 M...
HBase导入大数据三大方式之（三）——mapreduce+completebulkload 方式
luckymelina的专栏
04-03 5026
一、设计HBASE的表名、列名和字段名： 1、  创建支持hive查询的hbase表： CREATE TABLE bill(rowkey string, 00_selfnumber string, 01_day string, 02_hour string, 03_duration string, 04_calltype string, 05_targetnumber string,
HBase2.2.4 ClassNotFoundException: completebulkload
IT小王
06-23 533
今天学习到HBase的BulkLoad部分，动手测试了一下，通过MR程序生成了HFile后，想通过运行shell命令来达成BulkLoad，但是各种尝试后都是失败的！一直提示找不到类。百度、google都没能解决！最后通过查看官网的资料才发现问题所在，特此记录。给大家避坑！ 书上的示例有两种： # 1. $ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles <hdfs://storefileoutput> <tabl
Hbase的completebulkload导入数据
Chunhong Song的专栏
11-23 2103
有时候，我们需要将日志文件中的数据导入到Hbase中，通常情况下，你可以写一个方法逐行读取日志记录然后写入到Hbase中，但是这种方法往往效率比较低下，更好地方式试讲日志文件的内容通过某种工具直接导入到Hbase中，会显得更快速更方便，Hbase中有现成的工具支持来这么做。 这两个工具分别是ImportTSV和complete不离开load。 ImportTSV是用来将日志文件转化成HFile
hbase中的使用completebulkload导入数据
qq_34896163的博客
11-26 1178
completebulkload(十分重要，在实际开发中一般都是使用这样的方式来加载数据到表中)： file(csv)-&gt;hfile-&gt;load：这种方式是直接将file文件转换成hfile文件，然后直接load到hbase中，因为自己加载数据到hbase中的时候，需要经过HLog-&gt;MemStore-&gt;Store-&gt;StoreFile-&gt;Hfile-&gt;l...
Hbase——Bulkload
weixin_38244018的博客
08-03 287
Bulkload HBase 有好几种方法将数据装载到表。最直接的方式即可以通过MapReduce任务，也可以通过普通客户端API。但是这都不是高效方法。 批量装载特性采用 MapReduce 任务，将表数据输出为HBase的内部数据格式，然后可以将产生的存储文件直接装载到运行的集群中。批量装载比简单使用 HBase API 消耗更少的CPU和网络资源。 批量装载架构 HBase 批量装载过程包含...
HBase导入数据之必会的BulkLoad
HoppingMad的博客
01-01 1043
文章目录前言一、Bulk Load简介二、数据准备2、在HBase上创建表3、数据导入生产HFile四、bulkload到hbase表中总结 前言 通常MapReduce在写HBase时使用的是TableOutputFormat方式，在Reduce中生产PUT对象写入HBase，该方式在大数据量写入时效率十分低下（HBase会block写入，频繁进行flush，split，compact等大量IO操作），并对HBase节点的稳定性造成影响。 一、Bulk Load简介 HBase支持Bulk Load的入
HBase骚操作之数据加载方式BulkLoad
石榴姐yyds
03-17 6692
本文研究了一种HBase BulkLoad的入库方式，该方式利用HBase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。该方式配合MapReduce完成，高效便捷，而且不占用Region资源，增添负载，在大数据量写入时能极大的提高写入效率，并降低对Hbase节点的写入压力。HBase BulkLoad对于异构数据源的合并及大量数据一次性导入具有重要指导意义，相比HBase Put操作在性能上具有较高的优势
Hbase 的bulkLoading机制
redsky_luan的专栏
12-07 1713
HBase bulkLoad的注意事项 bulk load 特性使用MapReduce 来输出table数据到HBase 内部数据格式， 然后直接把存储文件装进一个正在运行的集群。使用BulkLoad将会使用更少的CPU和网络带宽来简化HBASE API。 BulkLoad限制 BulkLoad会跳过WAL，Replication需要使用WAL所以无法看到bulk load 数据。解决方法是
flink 自定义hbasesink 批量写入数据到hbase
最新发布
05-24
如果你想使用 Flink 批量将数据写入 HBase，可以自定义一个 HBaseSinkFunction。下面是一个简单的示例： ```java public class HBaseBatchSinkFunction extends RichSinkFunction<List<Tuple2<String, String>>> { private transient Connection connection; private transient BufferedMutator bufferedMutator; @Override public void open(Configuration parameters) throws Exception { Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); config.set("zookeeper.znode.parent", "/hbase"); config.set("hbase.client.write.buffer", "10000000"); config.set("hbase.client.retries.number", "3"); connection = ConnectionFactory.createConnection(config); TableName tableName = TableName.valueOf("my_table"); BufferedMutatorParams params = new BufferedMutatorParams(tableName); params.writeBufferSize(1024 * 1024); bufferedMutator = connection.getBufferedMutator(params); } @Override public void invoke(List<Tuple2<String, String>> values, Context context) throws Exception { List<Put> puts = new ArrayList<>(); for (Tuple2<String, String> value : values) { Put put = new Put(Bytes.toBytes(value.f0)); put.addColumn(Bytes.toBytes("my_cf"), Bytes.toBytes("my_col"), Bytes.toBytes(value.f1)); puts.add(put); } bufferedMutator.mutate(puts); } @Override public void close() throws Exception { if (bufferedMutator != null) { bufferedMutator.flush(); bufferedMutator.close(); } if (connection != null) { connection.close(); } } } ``` 在这个自定义的 HBaseSinkFunction 中，我们使用 BufferedMutator 批量写入数据。在 open() 方法中，我们获取 HBase 连接和缓冲器。在 invoke() 方法中，我们将数据转换为 Put 对象，并添加到缓冲器中。最后，在 close() 方法中，我们刷新缓冲器并关闭连接。 在你的 Flink 程序中，你可以使用这个自定义的 HBaseSinkFunction，例如： ```java DataStream<Tuple2<String, String>> dataStream = ...; dataStream.addSink(new HBaseBatchSinkFunction()); ``` 这样，你就可以批量将数据写入 HBase 了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值