java hdfs导入hbase_无法使用importtsv将数据从Hdfs导入Hbase

最新推荐文章于 2022-05-10 14:42:41 发布
最新推荐文章于 2022-05-10 14:42:41 发布
阅读量304 收藏 1
点赞数
文章标签： java hdfs导入hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39984952/article/details/114708955
版权

我将制表符分隔文件移动到hdfs现在试图将其移动到hbase。

下面是我的importtsv命令

bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:ok,cf:ek,cf:rk,cf:rsk,cf:pdk,cf:pmk,cf:omk,cf:sok,cf:sdk,cf:cdk,cf:q,cf:uc,cf:up,cf:usp,cf:gm,cf:st,cf:gp -Dimporttsv.skip.bad.lines=false 'sales_fact' hdfs://localhost:54310/my/file.txt

它试图从不存在的位置读取一个罐子。

Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://localhost:54310/home/elijah/Downloads/hbase/lib/htrace-core-3.1.0-incubating.jar

at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1072)

at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1064)

at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java

最低0.47元/天 解锁文章
weixin_39984952
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase调用ImportTsv导入csv文件时报错File does not exist
qq_45754165的博客
02-28 3500
问题背景 在大数据存储课设中，任务要求是要把生成的原始数据存储到Hbase中。首先将csv文件传至了HDFS，而下一步将传至Hbase却出现了一个问题，耗费了数小时寻找问题解决方法，最终将数据成功导入到了hbase，特此记录。 问题描述 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:Admission_numb
java操作Hbase之从Hbase中读取数据写入hdfs中源码
01-17
java操作Hbase之从Hbase中读取数据写入hdfs中源码，附带全部所需jar包，欢迎下载学习。
HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import
热门推荐
samhacker的专栏
03-15 1万+
记录一下HBase 0.96.0 利用ImportTsv和completebulkload 导入数据的方法。我的环境里用的是Yarn。 1、利用ImportTsv 将cvs文件导入到HBase 步骤： a. 在hbase里面创建好table: 命令：create 'hbase-tbl-001','cf' b. Upload simple1.cvs文件到hdfs上面，其内容为
解决Hbase连接hdfs失败java.net.ConnectException: Connection refused
weixin_41684423的博客
04-16 3747
昨天hbase安装好之后一直连接不到hdfs上，十分费解。 错误如下： 2021-04-15 07:04:32,844 WARN [master:16000.activeMasterManager] ipc.Client: Failed to connect to server: master/192.168.110.129:9000: try once and fail. java.net.ConnectException: Connection refused at sun.nio.ch....
hadoop :java.io.FileNotFoundException: File does not exist:
Data & Analysis
01-30 1万+
点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/   1.用hadoop的eclipse插件下M/R程序的时候，有时候会报 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/had...
Hbase MapReduce 执行示例代码报错
RoundYuan
03-22 766
问题 公司同事在学习Hbase 视频中有一段是Hbase 使用MapReduce 的官方实例使用 RowCounter 计算表的行数。 执行命令： /usr/bdapp/hadoop-2.7.7/bin/yarn jar /usr/bdapp/hbase-2.1.7/lib/hbase-server-2.1.7.jar RowCounter test:user 抛出错误如下： Exceptio...
hbase通过mapreduce进行数据导入迁移报错
lsr40的博客
08-30 4488
说在文前，本人菜鸟一只，要是文中有什么说的不对的话，请大家批评指正~！！ hbase有这样的功能，通过mapreduce进行数据导入或者迁移（也可以自己编码的，在Windows上编码也会有点报错，具体看我另一篇文章，里面的代码是个数据迁移的功能）。 执行hbase/lib包下面的hbase-server-0.98.6-hadoop2.jar这个jar包里面有些类可以供我们直接使用。例如：
HBase ImportTsv导入数据
世界那么大，我想去看看！
08-10 6806
一、HBase介绍HBase是Apache Hadoop中的一个子项目，依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Reduce对HBase进行操作。HBase是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式。HBase是介于Map Entry(ke
HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce
09-24
HDFS+MapReduce+Hive+HBase十分钟快速入门
05_将数据导入HDFS.docx
02-24
Sqoop使用JDBC（Java数据库连接）连接到RDBMS，并自动生成一个Java类将数据导入HDFS。Sqoop功能包括导入单个表或数据库中的所有表、指定导入哪些行、列、提供任意的SELECT语句等。 Hadoop提供的REST接口 Hadoop...
JAVA将HDFS中的文件导入HBase
05-01
相关博客：使用JAVA将Hadoop HDFS中的日志文件导入HBase中（一） 地址：http://blog.csdn.net/ltliyue/article/details/51290899
大数据 hdfs hadoop hbase jmeter
10-23
源码hdfs hbase hadoop 连接jmeter
利用importtsv向HBase批量插入数据
touziss的博客
03-24 471
用importtsv处理，可以快速、批量导入数据，测试一下导入一百五十多万条的数据，一共只用了十几秒，非常快。 缺点非常明显，这个文件要求是结构化的，也就是列要对齐，这个其实就丧失了NOSQL的特征，但是我只是做一下测试，其实可以做到结构化数据，所以用这个工具非常有效。 步骤 数据文件的结构大概是这样的 数据文件上传到hdfs ./hdfs dfs -put ~/D...
Hbase启动出错Exception in thread “main“ java.lang.NoClassDefFoundError: xxx
weixin_44732379的博客
06-23 2146
今天安装Hbase时，使用命令bin/start-hbase.sh启动时报错, 报错信息如下： Exception in thread “main“ java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory    显然，这是一个常见的java程序报错的格式(即某个包找不到），如果是单纯的java程序很好解决   但是这是在hbase启动时出现的问题，当时百思不得其解，百度的解决方案也只是基于java程序的方式。最初以为是配置问题，查改了很久还是报错。静下
使用hbase的importTsv工具批量导入数据
西瓜刀的博客
10-14 2974
一、导入前准备 1、启动hadoop 2、启动hbase 3、准备好数据表 create 'test','fm1','fm2' 4、准备好数据（用excel另存可以得到csv文件） xx.csv数据内容如下（行号，名字，年龄） 二、开始导入 输入： hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dim...
通过tsv、csv文件导入hbase遇到的坑记录
初级菜鸟
06-05 1465
Hbase 2.1.4 遇到的问题 1.遇到 java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilde 这个问题的话，直接导入高版本的这个jar包是不行的，4.2.0的版本阉割了这个，需要下载下面的这个jar包放到lib中，下载地址如下： http://central.maven.org/maven2/org/apache...
从hdfs导入数据到hbase
Fight攻城狮
05-10 1386
1.将数据存到hdfs，字段间 \t 分隔 2.进入hbase安装路径 3.执行命令 /bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:feats <hbase表名> <hdfs路径> 解释：Dimporttsv.columns参数中 cf是hbase的列簇，feats是hbase字段名，参数顺序就是hdfs文件中字段的顺序。 即命令：
Hadoop基础教程-第10章 HBase：Hadoop数据库（10.7 HBase 批量导入）
程裕强的专栏
08-05 1367
第10章 HBase：Hadoop数据库10.7 HBase 批量上传10.7.1 ImportTsv（1）介绍ImportTsv是HBase官方提供了基于mapreduce进行批量数据导入的工具，ImportTsv可以将HDFS上的TSV格式（默认制表符分隔\t，或者自定义分隔符的其他格式数据文件也可，逗号‘,’分隔的txt亲测可以）的数据文件通过命令简单方便地导入到HBase中，对于大数据量的导
protobuf-3.19.6-cp310-cp310-win32.whl
最新发布
06-21
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
使用sqoop将数据从mysql导入hbase
03-16
使用sqoop工具可以将数据从MySQL数据库导入到HBase中，具体步骤如下： 1. 首先需要安装好Hadoop和HBase，并启动相关服务。 2. 然后在终端中输入以下命令，将MySQL中的数据导出为一个文件： sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table user --export-dir /user/hadoop/mysql_data --input-fields-terminated-by '\t' 其中，test为MySQL数据库名，user为表名，/user/hadoop/mysql_data为导出的文件路径。 3. 接着，将导出的文件上传到HDFS中： hadoop fs -put /user/hadoop/mysql_data /user/hadoop/hbase_data 其中，/user/hadoop/hbase_data为上传到HDFS中的路径。 4. 最后，使用HBase的ImportTsv命令将数据导入到HBase中： hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator='\t' -Dimporttsv.columns=HBASE_ROW_KEY,cf:name,cf:age,cf:gender,cf:address user /user/hadoop/hbase_data 其中，-Dimporttsv.separator='\t'表示使用制表符作为分隔符，-Dimporttsv.columns指定了要导入的列族和列名，user为HBase表名。 以上就是使用sqoop将数据从MySQL导入HBase的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值