Hbase几种数据入库（load）方式比较

HBase 数据入库方式对比：HFile、MapReduce与Java程序
最新推荐文章于 2023-06-15 10:03:21 发布
原创 最新推荐文章于 2023-06-15 10:03:21 发布 · 2.3w 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #string #mapreduce #exception #多线程 #insert

本文介绍了三种HBase数据入库的方法：预生成HFile入库、通过MapReduce入库和使用Java程序入库。MapReduce方式在开始时较快，但会因竞争资源而变慢；HFile方式最快，但表非空时可能导致慢速split；Java程序入库采用多线程，被多数专家推荐。

1. 预先生成HFile入库

这个地址有详细的说明http://blog.csdn.net/dajuezhao/archive/2011/04/26/6365053.aspx

2. 通过MapReduce入库

/* MapReduce 读取hdfs上的文件，以HTable.put(put)的方式在map中完成数据写入，无reduce过程*/

import java.io.IOException;

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.client.HTable;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.util.Bytes;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

import org.apache.hadoop.mapreduce.lib.output.NullOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;

public class HBaseImport extends Configured implements Tool{

static final Log LOG = LogFactory.getLog(HBaseImport.class);

public static final String JOBNAME = "MRImport ";

public static class

最低0.47元/天 解锁文章
【Hbase】命令行load数据文件到Hbase
九师兄
08-16 1154
0。hbase中建表create 'test_lcc_mycase','case_lizu'1。文件内容如下A0|case_lizu:c_code|A0 A0|case_lizu:c_rcode|8 A0|case_lizu:c_cate|刑事案件 A0|case_lizu:c_start|2006/06/26 00:00:00 A0|case_lizu:c_end|2006/06/26 23:00
大数据HBase（十五）：HBase的Bulk Load批量加载操作
Lansonli（蓝深李）的博客
07-26 3366
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase的Bulk Load批量加载操作 一、Bulk Load 基本介绍 二、需求说明 三、准备工作 1、在hbase中创建名称空间, 并创建hbase的表 3、在项目中创建包 和 添加配置文件log4j.properties 四、将CSV数据转换为HFile文件格式数据 map 程序的代码 驱动类的代码 五、将Hfile文件格式数...
Hbase几种入库方式
05-10
Hbase几种数据入库（load）方式比较
HBase读写的几种方式（一）java篇
Swordfall的博客
03-12 1082
1.HBase读写的方式概况 主要分为： 纯JavaAPI读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoeni...
Hbase数据入库方式：HFile与MapReduce
"Hbase几种数据入库（load）方式比较，包括预先生成HFile入库和通过MapReduce入库。" 在HBase中，数据入库是重要的操作之一，通常有多种方式来实现。以下是对这两种主要入库方式的详细说明： 1. 预先生成HFile入库...
HBase数据写入方式 与 BulkLoad
ThreeAspects的博客
08-07 1580
cookie和session都是用来跟踪浏览器用户身份的会话方式。SessionCookieSession与Cookie区别 Session   session机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。当程序需要为某个客户端的请求创建一个session时，服务器首先检查这个客户端的请求里是否已包含了一个session标识（称为session id...
Hbase的bulkload流程与实践
小强签名设计 的博客
06-15 3831
通常MapReduce在写HBase时使用的是方式，在 reduce 中直接生成 put 对象写入HBase，该方式在大数据量写入时效率低下（HBase 会 block 写入，频繁进行 flush、split、compact 等大量 IO 操作），并对HBase节点的稳定性造成一定的影响（GC 时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持bulk load的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile。
hbase入库
csdncjh的博客
02-17 649
需求：抽取一批定向用户的号码难点：运营商提供的数据用户号码等隐私字段都经过了脱敏处理，使用了MD5加密解决：方案一：部分url字段中包含了用户号码的明文字段，可以从中提取。方案二：根据电信号码的编码规律得到所有电信号码以及其对应的MD5编码，通过撞库可以获取指定用户的号码。方案一探究： hadoop dfs -text /daas/bstl/dpiqixin/beijing/20151115
Hbase通过BulkLoad的方式快速导入海量数据
qq_36864672的博客
08-09 1155
HBase数据在HDFS下是如何存储的？ HBase中每张Table在根目录（/HBase）下用一个文件夹存储，Table名为文件夹名，在Table文件夹下每个Region同样用一个文件夹存储，每个Region文件夹下的每个列族也用文件夹存储，而每个列族下存储的就是一些HFile文件，HFile就是HBase数据在HFDS下存储格式，其整体目录结构如下： /hbase/<tablenam...
hbase入库几种方式
Malik的博客
02-20 8565
hbase入库四种方式 hbase入库四种方式 第一种利用client API 进行对hbase操作 第二种利用Hbase提供的ImportTsv将csv文件导入到HBase用 importtsv 和 bulk load将TSV数据文件导入HBase 第三种利用HBase提供的Import将数据导入到HBase 第四种利用HBase提供的completebulkload将数据导入到HBas
Hbase几种数据入库方式比较
nuoline的专栏
02-25 717
1. 预先生成HFile入库 这个地址有详细的说明http://blog.csdn.net/dajuezhao/archive/2011/04/26/6365053.aspx 2. 通过MapReduce入库 import java.io.IOException; import org.apache.commons.logging.Log; import org.apache.commons
Hbase入库基于java
weixin_33676492的博客
01-15 266
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase骚操作之数据加载方式BulkLoad
石榴姐yyds
03-17 7440
本文研究了一种HBase BulkLoad的入库方式，该方式利用HBase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。该方式配合MapReduce完成，高效便捷，而且不占用Region资源，增添负载，在大数据量写入时能极大的提高写入效率，并降低对Hbase节点的写入压力。HBase BulkLoad对于异构数据源的合并及大量数据一次性导入具有重要指导意义，相比HBase Put操作在性能上具有较高的优势
HBase 数据入库（1）-创建链接
荆小八的博客
01-08 387
HBase是一个分布式的、面向列的开源数据库,HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 HBase 基础 API 这里我编写了一个Hbase的基础API使用的类。类似与sqldao: 创建链接HBase使用的是Zookeeper public class HBasesql { private St
批量Load到HBase
程序之路
06-05 1937
hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。 如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。 批量导入HBase主要分两步： 通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile
Hbase入库的一些问题
Baron_ND的博客
05-15 699
hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后HTable调用put方法，通过rpc请求提交到Regionserver端。 写入的方式可以分为以下几种: 单条put 批量put 使用Mapreduce bluckload 进行批量入库之前，首先要连接到正确的连接到hbase static{ conf=HBaseConfiguration.create(.
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值