通过tsv、csv文件导入hbase遇到的坑记录

最新推荐文章于 2024-01-12 23:32:46 发布
最新推荐文章于 2024-01-12 23:32:46 发布
阅读量1.4k 收藏
点赞数
分类专栏： Hadoop 文章标签： hbase hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011930705/article/details/90898088
版权

Hbase 2.1.4 遇到的问题

1.遇到 java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilde 这个问题的话，直接导入高版本的这个jar包是不行的，4.2.0的版本阉割了这个，需要下载下面的这个jar包放到lib中，下载地址如下：

http://central.maven.org/maven2/org/apache/htrace/htrace-core/3.1.0-incubating/htrace-core-3.1.0-incubating.jar

 

2.找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

先执行hadoop classpath，将该内容设置到yarn-site.xml中yarn.application.classpath的value里面就可以解决

3.通过tsv文件导入到hbase数据库需要指定一列HBASE_ROW_KEY导入

4.importTSV导入语句格式

./bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv 
-Dimporttsv.columns=HBASE_ROW_KEY,cf1:col1,cf2:col2,...
<tablename>  <hdfs-inputdir>

 

喜欢编程的网管
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hbase导入csv文件_csv导入HBase-阿里云开发者社区
weixin_39842918的博客
12-23 256
csv导入HBase0 前置example.csv文件echo '999999941017403,1471848231000,120.6817399807754,27.95172926917687,0,0' >example.csv问题用hadoop jar /opt/apps/hbase-1.1.1/lib/hbase-server-1.1.1.jar importtsv -Dimport...
python写数据库中间件_pythonpostgresql数据库中间件有
weixin_39609622的博客
12-12 174
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":9,"count":9}]},"card":[{"des":"云数据库 HBase 版(ApsaraDB for HBase)是基于 HDFS 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景...
Hadoop基础教程-第10章 HBase：Hadoop数据库（10.7 HBase 批量导入）
程裕强的专栏
08-05 1374
第10章 HBase：Hadoop数据库10.7 HBase 批量上传10.7.1 ImportTsv（1）介绍ImportTsv是HBase官方提供了基于mapreduce进行批量数据导入的工具，ImportTsv可以将HDFS上的TSV格式（默认制表符分隔\t，或者自定义分隔符的其他格式数据文件也可，逗号‘,’分隔的txt亲测可以）的数据文件通过命令简单方便地导入到HBase中，对于大数据量的导
HBase数据的导入导出
原创学无止尽
06-16 6897
在hadoop-0.20.2/conf/hadoop-env.sh 中添加 1 2 export HBASE_HOME=/home/miao/hbase/ export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.0.jar:$HBASE_HOME:$HBASE_HOME/lib/zookeeper-3.3.2.j
mongodb数据库tsv文件导入.rar
10-19
在本压缩包中，你将找到所有必要的资源来安装MongoDB数据库并导入TSV（Tab Separated Values）文件。TSV是一种常见的数据存储格式，通常用于数据交换，其数据字段由制表符分隔。 首先，让我们详细了解一下MongoDB...
tsv格式的数据库测试文件，hbase可以通过采用importtsv导入外部数据到hbase中
11-21
tsv格式的数据库测试文件，hbase可以通过采用importtsv导入外部数据到hbase中
qsv：使用SQL处理CSV和TSV文件
02-16
使用类似SQL的语法处理.csv文件。 工作正在进行中 目前支持： 选择 在哪里 ORDER BY（单列） 限制 npm install qsv -g 或者如果您使用纱线 yarn global add qsv 对于带有标题的文件： qsv -p " ./path/to/my/...
exceljson：将CSV，TSV转换为JSON
02-03
ExcelJSON是将CSV和TSV与JSON相互转换的工具。 该工具使用Filereader api读取上传的文件（无服务器端上传）并且移动友好。 特征： 将CSV，TSV转换为JSON 将JSON转换为CSV，TSV 将JSON下载为CSV，TSV 预览和编辑...
qhs：对CSV和TSV文件SQL查询
02-04
例如，如果你有一个CSV文件记录销售数据，你可以用`qhs`来找出每个产品类别的总销售额，或者找出只在特定日期范围内有销售记录的产品。 在性能方面，由于Haskell的静态类型系统和编译优化，`qhs`通常能以较高的效率...
JAVA将HDFS中的文件导入HBase
05-01
相关博客：使用JAVA将Hadoop HDFS中的日志文件导入HBase中（一） 地址：http://blog.csdn.net/ltliyue/article/details/51290899
数据导入HBase最常用的三种方式及实践分析
架构师思考实践
01-07 2349
【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为：使用HBase的API中的Put方法； 使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由
向hbase导入数据的三种方式
weixin_45896475的博客
04-08 3740
向hbase导入数据的三种方式 1.Put对象,是去RPC请求连接数据并一条一条插入或者多条插入. 2.缓存到一定大小之后单次请求一次性插入数据(内存) 3.现在hdfs中已经存在了大量的数据,bulkload方式 text,sequence,csv文件… —>Hflie文件 <<<<<<<<<—表.region 第一种方式PUT 用ja...
HBase-HDFS文件上传到HBase
互联网知识分享
05-05 939
为什么实际中 在HBaseMap读取put.add()使用了循环，而这里却没有for循环？里面包含了key,所以这里的NullWritable作用就是不进行第二次的key写出。注意：这里的cf1和name虽然是自定义的，但是要符合HBased表结构一模一样。指定job所在的类(反射),该行代码只要放在提交任务前面就可以。读取出来的每行数据使用\t进行分割，存于String数组。以下是自定义的，可以不写，主要是判断一下有没有成功。列簇:列1,列簇:列2 HBase的接受表 \。）在HBase中查看表验证。
HBase 导入、复制、备份、迁移
最新发布
01-12 817
HBase 数据迁移、备份与恢复、复制。
将csv文件导入到hbase中
weixin_45890771的博客
12-28 7297
1.将csv文件拖到/opt下 2、将本地的csv文件上传到HDFS上去 3、之后将上传到HDFS上的文件导入到HBase中。 首先在HBase中建一个表用来存放这个文件的数据： create_namespace 'Test' (没有命名空间先创建命名空间) create 'Test:test','info1','info2' 这里，命名空间为'Test'，表名为‘test’ ，列簇名为info1,info2 4、借用mapreduce的包，将csv文件导入...
hbase写入报错： Hbase RegionTooBusyException：over memstore limit =512M
仙道Bob的专栏
06-24 3237
hbase 写入报错：over memstore limit=512m
往HBase中导入csv文件的方法
幸运的Alina的博客
05-18 5428
在实际的操作中涉及到将批量的数据插入到HBase中，这样的话如果直接一条一条的通过put来进行插入，就显得尤其吃力了，在这里记录下自己所用到的方法，因为网上的资源很多都是千篇一律，然后需要配合自己的来弄，记录下对自己比较有用，以及在使用的过程中需要注意的地方。 创建了一个测试的csv文件，命名为test.csv，数据长这样子 首先将本地的csv文件上传到HDFS上去，这里...
用python将txt文件数据导入到hbase中
m0_62004321的博客
06-13 933
python操作hbase
python导入tsv文件输出为csv
05-02
可以使用Python内置的csv和pandas库来实现将tsv文件转换为csv文件的操作。下面是一个示例代码： ```python import csv import pandas as pd # 读取tsv文件 with open('input_file.tsv', 'r', encoding='utf-8') as...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

喜欢编程的网管

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值