java程序实现导入数据到hbase的表

于 2023-05-25 12:01:10 发布
阅读量410 收藏 1
点赞数
文章标签： hbase java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jquery_learn/article/details/130804445
版权
文章描述了将Java项目打包成jar，上传到HBase，并在hbaseshell中创建表的过程。遇到的问题是TSV文件中列间隔为空格而非tab，导致导入数据时出现问题。尝试将空格改为tab后，出现java.lang.ArrayIndexOutOfBoundsException异常。解决方案包括在虚拟机中操作，删除并重新上传修改后的文件，但某些方法并未成功。
摘要由CSDN通过智能技术生成

1、打包成jar包，并上传到hbase

 

2、hbase shell中下创建表flower1

3、hbase目录下执行命令

文件上传在hadoop的hdfs的/目录

yarn jar testhbase-1.0-SNAPSHOT.jar org.com.mr1.FlowerDriver /flower.tsv flower1

问题：没有插入值

主要还是在tsv文件上的问题，每列之间去掉原来的空格，用tab形成间隔

 

再上传到虚拟机，

再删除原来hdfs中的文件，hdfs dfs -rm -r /flower.tsv，

再put到hdfs目录hdfs dfs -put /tempupload/flower.tsv / 

再重新执行步骤三的导入命令

（网上有说把文件的空格改成\t，会存在java.lang.ArrayIndexOutOfBoundsException: 1的问题，不可行）

learn_step
关注
用mrjava代码把文件上传到hbase
leezsj的博客
07-16 295
HbaseUtil.java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.hadoo.
java hdfs导入hbase_使用BulkLoad从HDFS批量导入数据到HBase
weixin_30695909的博客
02-26 631
在向Hbase中写入数据时，常见的写入方法有使用HBase API，Mapreduce批量导入数据，使用这些方式带入数据时，一条数据写入到HBase数据库中的大致流程如图。数据发出后首先写入到雨鞋日志WAl中，写入到预写日志中之后，随后写入到内存MemStore中，最后在Flush到Hfile中。这样写数据的方式不会导致数据的丢失，并且道正数据的有序性，但是当遇到大量的数据写入时，写入的速度就难以...
java往hbase中存入数据_Java往hbase写数据
weixin_35923682的博客
02-24 950
public classWriteHBase {public static voidwriteHbase(String content){// HDFS 数据是一行一条记录String[] lines= content.split("\n");int userSize = 0;List puts = new ArrayList();Put put;for(String line : lines){...
Java往hbase写数据
anfuyi5792的博客
07-29 237
接上篇读HDFS 上面读完了HDFS，当然还有写了。 先上代码： WriteHBase public class WriteHBase { public static void writeHbase(String content){ 　　　　 // HDFS 数据是一行一条记录 String[] lines = content.spli...
Hbase-javaAPI之将本地数据写到Hbase中
weixin_45247609的博客
09-28 3205
首先添加Hbase的依赖 1、获取Hbase的连接对象 2、读取本地文件 3、put到Hbase表中(提前在Hbase中创建表,并设置好列族) 4、释放资源 import com._51doit.utils.HbaseUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableN..
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库（往hbase的表中批量插入数据）
一纸春秋的博客
11-30 4656
目录直接在main函数中执行语句借助@Test来运行方法删除表修改表结构列出来所有的表插入一条数据获取一行数据创建表批量读取文件中的数据，并且批量插入表中获取一组数据的值利用CellUtil改善读取数据方式 导入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>
Hbase表基于javaAPI批量导入txt数据 && 使用java向hbase表批量导入数据 && 使用从本地文件向hbase表批量导入数据
u010571479的博客
08-04 1858
标题这么麻烦，其实是为了让大家能搜到我啦，嘻嘻，这篇文章主要的内容就是本地有个txt文件，或者其他格式的文件，使用java，把这个文件里数据批量导入到hbase的某个表中。 这只是个简单的笨办法啦、适合类似我这种对hbase不咋会且资源受制于人但需要尽快完成任务的。 欢迎大神评论区指正或提供思路，毕竟我是真的菜。 1. 背景交代 搞这个东西，主要是工作中需要集群迁移，集群搬迁不是我们部门来做，所以数据还没有搬到新集群，但是我要把项目进行升级，就需要在新集群放点数...
MR程序Bulkload数据到hbase
03-12
标题中的“MR程序Bulkload数据到hbase”指的是使用MapReduce（MR）程序批量加载（Bulkload）数据到HBase数据库的过程。MapReduce是Apache Hadoop框架中的一个关键组件，用于处理和生成大规模数据集。而HBase是一个...
java hdfs导入hbase_通过BulkLoad快速将海量数据导入到Hbase[Hadoop篇]
weixin_35903223的博客
02-26 397
在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所以很不适合一次性导入大量数据。本文将针对这个问题介绍如何通过Hbase的BulkLoad方法来快速将海量数据导入到Hbase中。总的来说，使用 Bulk Load 方式由于利用了实现...
利用Java应用程序读取Hbase中表的数据并存储，再利用IO流写入到本地文件中
最新发布
weixin_42611310的博客
12-21 294
好的，这是一种使用 Java 应用程序读取 Hbase 中表数据并存储到本地文件中的基本流程： 导入必要的 Java 类，包括 HBase 的相关类和 IO 流类。 创建 HBase 的 Configuration 对象，并设置 HBase 的连接信息，例如 HBase 的地址、端口等。 利用 Configuration 对象创建 HBase 的 Connection 对象，用于连接 HBa...
java从本地读文件并上传Hbase
05-22
java从本地读文件并上传Hbase
java操作Hbase之从Hbase中读取数据写入hdfs中源码
01-17
java操作Hbase之从Hbase中读取数据写入hdfs中源码，附带全部所需jar包，欢迎下载学习。
java大数据案例_3HBase
01-23
1搭建HBASE集群并进行监控 问题 依次完成以下2个小题的任务： 1） 搭建Hbase分布式集群，要求一个Master、三个RegionServer，使用Hbase自带的Zookeeper 2） 安装后启动查看监控页面
java 插入数据 hbase
zhangbingxiazai的专栏
07-31 758
/**Name : KcnaufHadoopManagement *Author : Zhang Bing *Created : 2013-7-31 *Function : delete of hbase */ package com.exercise.hbase.command; import org.apache.hadoop.conf.Configuration; import
HBase Java API 开发：批量操作 第3关：批量导入数据至HBase
qq_61604164的博客
12-14 3489
HBase Java API 开发：批量操作 第3关：批量导入数据至HBase
java hbase api 批量高效写入数据（线程池方式）
热门推荐
Hello World .
01-05 3万+
笔者尝试各种方法写入HBase，其中使用线程池方式写入数据最为快速。测试环境：hbase 1.2.4, hadoop 2.7 单条数据大小1kb，7台服务器24核48g内存千兆网卡，测试1000w数据写入测试结果：达到百万级每秒写入速度。 下面上代码。 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0"
hbase加入数据 java_HBase读写的几种方式（一）java篇
weixin_42517044的博客
12-24 764
1.HBase读写的方式概况主要分为：纯JavaAPI读写HBase的方式；Spark读写HBase的方式；Flink读写HBase的方式；HBase通过Phoenix读写的方式；第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在S...
eclipse 实现 HBase java API
博樽
03-15 2300
HBase Java API 核心类介绍、创建表
java hdfs导入hbase_MapReduce将HDFS文本数据导入HBase中
weixin_39569051的博客
02-26 545
HBase本身提供了很多种数据导入的方式，通常有两种常用方式：使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase另一种方式就是使用HBase原生Client API本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中。首先启动Hadoop与HBase，然后创建一个空表，用于后面导入数据：hbase(main)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值