批量插入Hbase数据

最新推荐文章于 2024-05-04 05:14:47 发布
最新推荐文章于 2024-05-04 05:14:47 发布
阅读量2.8k 收藏 1
点赞数
分类专栏： Hbase 文章标签： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jin6872115/article/details/86097882
版权

批量往Hbase插入数据，需要知道表名，列名，列簇等字段即可。指定Hbase链接

 

 

package com.cslc.asiancup.dfstohbase;

import com.cslc.asiancup.utils.HbaseUtilJava;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

/**
 * @Author :LPJ
 * @Date 2018/12/22 11:04
 */
public class CityInfo extends Configured implements T
最低0.47元/天 解锁文章
jin6872115
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase创建预切割-开启多线程实现大批量插入
tianqinglei的博客
08-30 1945
创建表同时预切割区域 可以防止数据倾斜 ------------------ $hbase>create 'ns1:t3', 'f1', SPLITS => ['row3000000', 'row600000'] /** * 添加批量数据 */ public void bigput(int start , int end) throws Exception { DecimalF
详解hbase与hive数据同步
08-29
在HBase中执行scan 'user_sysc'可以看到插入的数据。然后，在HBase中执行deleteall 'user_sysc', '11'删除一条数据。在Hive中查询可以看到删除的数据已经同步过来。 因此，只要创建Hive表时，与HBase中的表做了映射...
HBase批量导入操作
JinVijay的博客
02-08 1319
shell--buckload 数据准备 1,zss,23,M 2,lss,33,M 3,fj,35,F 4,ny,42,M 5,xq,44,F 1)在hbase中创建表 create 'tb_friends' , 'cf' 2) 使用shell命令将数据转换成hfile文件 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \ -- 使用类执行操作 -Dimporttsv.separator=, \ --指定行数据的字段分隔符 -D
hbase java批量添加数据,java – 以数据方式将数据批量加载到HBase中的最快方法是什么？...
weixin_34280781的博客
03-19 156
我有一个纯文本文件,可能需要数百万行,需要自定义解析,我想尽快将其加载到HBase表中(使用Hadoop或HBaseJava客户端).我目前的解决方案是基于MapReduce作业,而没有减少部分.我使用FileInputFormat读取文本文件,以便将每一行都传递给Mapper类的map方法.在这一点上,该行被解析以形成写入上下文的Put对象.然后,TableOutputFormat获取Put对象...
【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍
最新发布
2401_84302507的博客
05-04 584
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。利用4中的程序，创建上表：表scores的概念视图如上图所示。创建并插入相关数据后，查看Hbase java api 文档。用于删除一个单元格数据，是 put 的反向操作；
组学数据图谱前处理
wcy1995427的博客
07-29 2163
由于经常遇到坑，其他方法也有局限性，选择了这种方法的原始数据处理，里面的参数还需要根据实际图谱进行调整。 基于R的XCMS包进行图谱原始数据额处理，版本3.6以上 安装XCMS包，最新的版本 if (!requireNamespace("BiocManager", quietly = TRUE)) install.packages("BiocManager") BiocManager::install("xcms") Library(XCMS) 导入数据，原始数据是.RAW文件，需转换为mzXML
数据批量操作：如何在HBase中进行批量操作
禅与计算机程序设计艺术
01-18 1207
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等其他组件集成。HBase适用于大规模数据存储和实时数据访问场景，如日志记录、实时数据分析、实时数据流处理等。 在HBase中，数据以列族(column family)的形式存储，每个列族包含一组列(...
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库（往hbase的表中批量插入数据）.pdf
12-16
在本文档中，我们将深入探讨如何使用Java API与HBase数据库进行交互，特别是关于如何创建表、修改表结构以及批量插入数据。HBase是Apache的一个分布式、可扩展的大数据存储系统，它基于谷歌的Bigtable设计，适用于...
Hbase调用JavaAPI实现批量导入操作
08-06
这篇博客“Hbase调用Java API实现批量导入操作”聚焦于如何利用Java编程语言高效地向HBase中批量导入数据。在这个过程中，我们将探讨以下几个关键知识点： 1. **HBase架构**： HBase是基于列族的存储模型，数据被...
hbase导入测试数据集
07-03
3. **加载数据**：如果使用HBase Shell，可以使用`put`命令逐行将ORDER_INFO.txt中的数据插入到表中。如果数据量很大，推荐使用 bulk load 功能，它可以显著提高导入速度。 ```bash hbase(main):002:0> put '...
hbase的操作数据demo
11-27
数据的插入操作通常涉及`put`命令，它将数据写入指定行和列。例如，`put 'table', 'rowkey', 'cf:qualifier', 'value'`会将值''value''写入表'table'的行'rowkey'下的列族'cf'的列限定符'qualifier'。 删除数据在...
hbase海量数据的全量导入方法
05-10
hbase海量数据的全量导入方法，大数据导入。
hbase用于查询客户端工具
03-22
HBase Shell提供了创建表、删除表、插入数据、查询数据等基本操作，同时也支持复杂的条件查询和扫描。通过Shell，你可以直接执行HBase的API调用，进行调试和测试。 2. **HBase REST Gateway**：REST...
hbase存储csv数据的代码实现
02-27
了解了基本的HBase数据导入流程后，你还可以深入学习如何使用HBase的API进行更复杂的操作，例如过滤、扫描、合并和删除等。同时，熟悉HBase的监控和调优也至关重要，以确保系统的稳定性和性能。 总结来说，将CSV...
MR程序Bulkload数据到hbase
03-12
在大数据领域，当需要将大量数据导入到HBase时，直接通过客户端API逐条插入可能效率低下。因此，我们通常采用Bulkload机制，它允许将数据预先处理成HBase友好的格式，然后一次性加载到表中，极大地提高了导入效率。 ...
springboot集成phoenix+hbase
10-26
本示例将详细解释如何将Spring Boot与Phoenix和HBase集成，以创建一个完整的数据访问解决方案。 首先，我们需要在Spring Boot项目中添加相应的依赖。对于Spring Boot，我们需要包含`spring-boot-starter-web`来启用...
hbase 批量插入api
梁小明的博客
07-27 4308
1、数据格式a.txt： 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200
5.hbase 批量导入数据
文洲的专栏
03-13 3028
Bulk Loading Importtsv 生成HFile 导入HBase 自定义MR 生成HFile 导入HBase 注意事项 源码下载 Bulk Loading 向hbase写入数据常用两种方式： 客户端 API写入 Mapreduce任务TableOutputFormat格式输出 然而，对于超大量的数据写入，这两种方式都不合适，会非常占用内存和耗时而且JVM GC和...
HBase_数据批量导入
码上开始的博客
11-27 905
使用HBase自带的lib包下的hbase-server-xxx.jar中的importtsv和completebulkload导入数据
HBase Thrift批量插入Hbase
06-10
HBase Thrift支持批量插入数据到HBase数据库，可以提高插入数据的效率。具体的实现方法如下： 1. 创建一个批量插入请求对象，例如： ``` import org.apache.hadoop.hbase.thrift.generated.*; TTable tTable = new TTable(); tTable.setTableName("table_name"); TColumnValue tColumnValue1 = new TColumnValue(); tColumnValue1.setFamily("column_family1"); tColumnValue1.setQualifier("column1"); tColumnValue1.setValue("value1"); TColumnValue tColumnValue2 = new TColumnValue(); tColumnValue2.setFamily("column_family1"); tColumnValue2.setQualifier("column2"); tColumnValue2.setValue("value2"); TColumnValue tColumnValue3 = new TColumnValue(); tColumnValue3.setFamily("column_family2"); tColumnValue3.setQualifier("column3"); tColumnValue3.setValue("value3"); List<TMutation> tMutations = new ArrayList<TMutation>(); TMutation tMutation1 = new TMutation(TMutationType.PUT, tColumnValue1); TMutation tMutation2 = new TMutation(TMutationType.PUT, tColumnValue2); TMutation tMutation3 = new TMutation(TMutationType.PUT, tColumnValue3); tMutations.add(tMutation1); tMutations.add(tMutation2); tMutations.add(tMutation3); TBatchMutation tBatchMutation = new TBatchMutation(); tBatchMutation.setMutations(tMutations); Map<ByteBuffer, TBatchMutation> mutationMap = new HashMap<ByteBuffer, TBatchMutation>(); mutationMap.put(ByteBuffer.wrap(Bytes.toBytes("row_key")), tBatchMutation); ``` 2. 调用批量插入方法，例如： ``` client.batchMutate(mutationMap, new TDurability()); ``` 其中，`client`是HBase Thrift的客户端对象，`batchMutate`是批量插入方法，`mutationMap`是批量插入请求对象，`TDurability`是HBase支持的一种数据持久化方式，表示插入的数据需要持久化到磁盘上。 以上就是使用HBase Thrift批量插入数据到HBase数据库的方法。需要注意的是，批量插入的数据量不能过大，否则可能导致内存溢出或者网络传输问题。可以根据实际情况调整批量插入的数据量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值