HBASE Export导入数据

最新推荐文章于 2024-04-20 23:31:08 发布
最新推荐文章于 2024-04-20 23:31:08 发布
阅读量255 收藏
点赞数
分类专栏： HBASE 文章标签： hadoop hbase 大数据 cloudera hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dwy130633/article/details/128725836
版权

1.上传压缩包

2.解压压缩包

tar -zxvf data.tar.gz

3.比如压缩包放在了/opt下，

su hdfs

###注释

上传解压缩文件到HDFS

解压路径 上传到HDFS之后的路径，此路径不能存在，如果存在会报错

hdfs dfs -put /opt/data/ /data

###用hdfs dfs -ls /data 可以查看有哪些表以及在HDFS相对应的路径

4.在HBASE中建相对应的表

5.导入数据

hbase org.apache.hadoop.hbase.mapreduce.Export HBASE表名 HDFS路径

例子：比如导入入出转表，入出转表在HDFS的路径为/data/CDR_PAT_ADT

hbase org.apache.hadoop.hbase.mapreduce.Import CDR_PAT_ADT /data/CDR_PAT_ADT

dwy130633
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase-exporter:HBase Prometheus导出器
03-05
hbase-exporter HBase Prometheus导出器 收集指标并中继JMX指标以供Prometheus使用 由于JMX中一些重要的指标缺失或为空，因此我们另外分析了HBase主界面，例如“过渡中的过时区域” 解析“ hbase hbck”命令的输出以检查HBase中的不一致情况 将Hbase标记为不健康要求满足以下条件之一 至少有一个陈旧的区域正在过渡 'hbase hbck'命令显示HBase不一致 对预定义表的写入不成功 无法确定ZooKeeper领导者 构建/安装依赖性 有关python模块的要求，请参见requirements.txt $ sudo dnf/pkg install python3 当用户执行导出程序（例如hdfs）时： $ sudo su - hdfs $ pip3 install --user -r requirements.txt pr
HBase 系列（四）—— HBase 集群环境配置
weixin_30362083的博客
08-24 323
一、集群规划 这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 Regin Server。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主 Master。 ...
CDH大数据平台搭建之HBASE集群搭建
qq_41924766的博客
06-16 952
CHD大数据平台搭建之HBASE集群搭建一、集群规划二、下载三、安装及配置四、启动五、jps验证 一、集群规划 参考CHD大数据平台搭建之集群规划 二、下载 1.官网下载 2.网盘下载 提取码：cdh5 网盘是chd配套版本，官网的事apache版本 三、安装及配置 1、解压 tar -zxvf hbase-1.2.0-cdh5.7.6.tar.gz -C /opt/modules/ 2、新建文件夹 mkdir -p /opt/modules/hbase-1.2.0-cdh5.7.6/datas 3
HBase 数据备份 | export | import
我是一块小石头
08-10 394
文章目录导出export导入import 导出export 以test表为例 删除/移动原有备份 hadoop fs -rm -r /opt/hbase-data-back/test_back 创建表 hbase shell create 'test','info' 插入数据 put 'test','01','info:msg','hello' put 'test','02','info:msg','hello' put 'test','03','info:msg','hello' 导
Hbase备份（HBase Backup）之 Hbase Export、Hbase Import
飞朋的博客
10-17 1940
目录 Export mapreduce-based Export endpoint-based Export 对照表 Import export 方法将表的内容转储到同一集群上的HDFS。要恢复数据，将使用 import 。 Export 将表数据以 sequence file 的格式转存到 HDFS，通过运行Coprocessor Endpoint 或MapReduce。 ...
Hbase11：【案例】批量导出：TableMapReduceUtil或者HBase内部提供的Export工具类
weixin_40612128的博客
03-07 857
一、批量导出 批量导出两种方式： 利用TableMapReduceUtil将数据导出 (需要开发MapReduce代码) 利用HBase内部提供的Export工具类 二、批量导出之TableMapReduceUtil 将HBase中的表batch1中的数据导出到hdfs上面 表batch1中的数据如下： hbase(main):001:0> scan 'batch1' ROW COLUMN+CELL
制作hbase_exporter采集器docker镜像
giscong的博客
03-01 2118
FROM alpine MAINTAINER tc [email protected] RUN mkdir -p /usr/local/exporter COPY hbase_exporter /usr/local/exporter RUN cd /usr/local/exporter && chmod +x hbase_exporter WORKDIR /usr/local/exporter docker run -e URL="XXXXXX"修改，这个环境变量在容器里也可以$URL获取
hbase导入测试数据集
07-03
博客文档：https://phoenix.blog.csdn.net/article/details/131457322
基于Django LayUI HBase的文献数据挖掘系统.zip
11-11
基于Django LayUI HBase的文献数据挖掘系统.zip
HBase数据容灾技术方案
02-26
No-SQL、云计算、海量数据分析的普及，使我们越来越关注系统的可靠性（HighAvailability），数据容灾/数据恢复是高可用系统的一个很重要的技术组成，本文由简入深，一步步搭建一个HBase数据集群，并详细说明生产环境...
mysql数据导入hbase
11-19
MySQL通过sqoop工具用命令将数据导入到hbase的代码文件
关系型数据库的数据导入Hbase
11-01
实现离线、实时两种方式将关系型数据库的数据导入Hbase中
Hbase配置手册
05-11 552
环境:       操作系统:ubuntu 12.10 64bit       jdk:sun jdk 1.6 64bit       hadoop:apache hadoop 1.02       hbase：apache hbase 0.92       先决条件:配置apache hadoop append,默认这个属性是false，需要设置为true 1
hbase的 export以及import工具使用示例 + 时间区间+ key前缀
热门推荐
mtj66的博客，交流WX:SpringBreeze1104
10-06 1万+
1.hbase中的数据hbase(main):025:0> scan 'users'ROW                                COLUMN+CELL                                                                                       TheRealMT             ...
hbase export数据迁移
Dawn_WL的博客
07-27 747
数据迁移export跨集群导出方案 概况： 根据迁移的实际情况，由于数据量大、重要、迫切性，因此实施方案每一步都需严谨执行，并且当出错时清楚缺少的数据和补救的办法。 要点： 确保两集群的mapreduce可以正常运行 开通源集群各个节点到目标集群namenode通讯 具体实施计划： 大的步骤分为2步，即export、import。 在export导出数据时，以时间戳作为参数，如将三个月的数...
hbase export 使用小技巧
wzg0312的专栏
12-03 4788
在工作中经常使用hbase的export功能来导出数据，在此总结几种小技巧： 建议导出的数据先放到hdfs上，再从hdfs上拿下来 之前经常使用如下命令进行数据备份： hbase org.apache.hadoop.hbase.mapreduce.Export backup_table file:///tmp/backup_table 使用单机版做此操作是没有问题的，但是当使用多
hbase的export与import工具
蓝色时分
09-01 434
hbase提供了导出表的方案，将指定的表导出到HDFS或本地，这样方便了备份或数据转移。 最快的方式是通过mapreduce来完成这件事，需要在hbase的conf中添加mapred-site.xml： [code="java"] mapred.job.tracker 192.168.0.1:9001 hadoop.tmp.dir /tmp/ha...
HBase数据导入导出（export import）
weixin_33953249的博客
08-23 1232
2019独角兽企业重金招聘Python工程师标准>>> ...
【Hadoop】-HDFS的存储原理[4]
最新发布
weixin_63106307的博客
04-20 1475
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
Hbase如何导入数据？
06-08
HBase有多种导入数据的方式，以下是其中的几种常见方式： 1. 使用HBase自带的bulk load工具，将数据直接导入到HBase表中。这种方法适用于大规模数据导入，效率高，但需要一定的技术基础。 2. 使用HBase API编写...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值