HBASE批量数据存储后HDFS上无法查看HBASE存储数据的大小

最新推荐文章于 2021-04-20 18:19:03 发布
最新推荐文章于 2021-04-20 18:19:03 发布
阅读量264 收藏
点赞数
分类专栏： Hadoop 文章标签： hbase hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yhblog/article/details/105664623
版权
原因：hbase存储数据后并不会实时刷新信息

解决办法：

  • 1.启动hdfs和zookeeper服务
  • 2.启动hbase服务
  • 进入hbase shell
  • 输入 flush ‘表名’

再次进入hdfs的web监控页面，浏览hbase的存放路径，我的是如下路径：
/hbase/data/default/weblogs/9e7da64e3e3506a77d7e01b0c27add55/info

weblogs是表名，info是列簇名

yhblog
关注
专栏目录
java操作Hbase之从Hbase中读取数据写入hdfs中源码
01-17
在Java编程环境中，操作HBase并将其数据写入HDFS（Hadoop Distributed File System）是一项常见的任务，特别是在大数据处理和分析的场景下。本篇将详细介绍如何使用Java API实现这一功能，以及涉及到的关键技术和...
Hadoop常见问题及解决办法
zyj8170的专栏
11-26 5412
Hadoop常见问题及解决办法
Hadoop系列六：Hadoop之HBase篇
医疗影像检索
03-14 4186
HBase安装和运行 1）HBase理解 HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。HBase存储的数据介于映射（key/value）和关系型数据之间。 Hadoop整体生态系统示意图： HBase位于结构化存储层，围绕HBase，各部件对HBase的支持情况： Hadoop部件　　　　　
【HBase基础】-- HBase 在 HDFS 上的目录说明
欢迎来到我的博客，一起探索代码里的世界！
09-26 1983
1 说明 HBase 在 HDFS 上的目录共有 3 部分：根目录、表目录和 Region 目录。 2 目录说明 2.1 根目录 xml 配置：<name> hbase.rootdir</name> 默认 “/hbase” (1)/hbase/WALs 被 HLog实例管理的WAL文件。 ## /hbase/WALs/data-hbase.com,60020,1542159360923 对于每个HregionServer,日志目录中都包含一个对应的子目录 ## h.
HBase插入数据后在hdfs中没有显示（记录二）。
weixin_42522212的博客
12-24 1030
记录学习中遇到的困难之二： 问题：当使用客户端代码插入数据到hbase中为什么hdfs中的/hbase/data/gsd1/t1/2562785418291c725d87651a260421af/f1下面没有文件？ 解决：在shell中使用flush ‘gsd1:t1’(注：gsd1为空间名，t1为表名)...
hbase存储大数据量相关配置调优
xjsbenpaolv的博客
11-15 1341
hbase.hregion.majorcompaction0 配置major合并的间隔时间，默认为1天，可设置为0，禁止自动的major合并，可手动或者通过脚本定期进行major合并，有两种compact：minor和major，minor通常会把数个小的相邻的storeFile合并成一个大的storeFile，minor不会删除标示为删除的数据和过期的数据，major会删除需删除的数据，maj
hbase和hadoop数据块损坏处理
11-05
HBase 和 Hadoop 数据块损坏处理 HBase 和 Hadoop 数据块损坏是非常常见的问题，可能会导致数据丢失、集群崩溃等严重后果。因此，了解如何处理 HBase 和 Hadoop 数据块损坏是非常重要的。本文将介绍 HBase 和 ...
读写HBase数据.pdf
12-09
- 在`hbase-site.xml`中指定HBase的数据存储位置（例如，使用HDFS）和运行模式（分布式或伪分布式）。 完成HBase的部署后，可以创建表并插入数据。例如，创建一个名为`student`的表，包含`info`列族，然后通过...
HBase数据及物理模型架构及工作原理
02-25
HBase是一个构建在HDFS之上的，分布式的、面向列的开源数据库HBase是GoogleBigTable的开源实现，它主要用于存储海量数据个人理解：分布式：采用分而治之的思想，比如说我们要将10个G的数据全部写入到HBase，对于这样...
分布式环境下栅格数据存储策略源码（基于Hadoop、HDFS和HBase）.zip
最新发布
03-20
标题提到的"分布式环境下栅格数据存储策略源码（基于Hadoop、HDFS和HBase）"着重于利用这些技术来有效管理和处理大量的栅格数据。栅格数据是一种以网格形式存储地理空间信息的数据模型，广泛应用于遥感、GIS等领域。...
[Hbase错误]-----删除DataNode的坏块后，启动Hbase报错找不到hbase.version文件
每天进步一点点
02-25 3121
1.前言 在服务器上搭建了伪分布式集群，由于重启服务器的时候没有在Ambari正常关闭集群，相当于直接断电，集群非正常关闭。 而后使用Ambari启动HDFS的时候，发现出现了Missing block的提示。 在解决完Missing block的后，启动Hbase的时，发现Hbase的Hmaster开启后又马上闪退。 2.问题 检查Hbase的日志后发现报如下错： HBase fil...
hive和hbase查看表的大小
American_sheep的博客
03-26 2575
一，Hbase下查看数据表信息的方法 查看hbase表数据大小： hadoop dfs -du /hbase/data/default 二，Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 desc extended table_name; 方法3：查看表的字段信息及元数据存储路径（推荐查看表元数据信息及存储路径） desc formatted table_name; 方法4：查看建表语句及其他详细信息的方法 show c
并行算法设计与性能优化_HBase性能优化总结（一）：表的设计
weixin_39910043的博客
12-01 166
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。有关预分区...
[HBase] major_compact不工作
08-31 634
[HBase] major_compact不工作 Hadoop-0.20.1-cdh3u0和HBase-0.90.2-cdh3u0 场景如下： 建一张表TableTTL，ttl设定例如为86400*2，这样里面的数据只是最近2天内有效而已。 并且该表是一开始只有一个Region（这也是默认的create table） 然后不停对此表put数据，大量地put。 最后，该表不停...
Hbase存储详解
kw-home
12-22 2318
Hbase存储详解 一、概述 　　Hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 　　它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。 　　与hadoop一样，Hbase目标主要依靠横向扩展，...
HBase环境搭建
x_k_b的博客
07-06 891
HBase常见问题总结一、时间校正二、“error telling master we are up”三、“org.apache.hadoop.hbase.PleaseHoldException: Master is initializing”四、“stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory”五、HMaster启动起来之后自动挂掉（master.HMaster: Failed to become active
hbase major_compact 文件会变小吗_图解式学习：可能是最易懂的Hbase架构原理解析（二）...
weixin_30831529的博客
02-01 355
数据修改小史：不过吕老师，我还有问题啊，我记得 HDFS 是不能随机修改文件的，只能追加，那么 HBase 里的数据是不是写了之后就不能改也不能删除呢？吕老师：删除同样是追加一条版本最新的记录，只不过标记这个数据被删除而已，查询的时候，看到版本最新的记录是数据删除，就知道这个数据被删了。吕老师：哈，小史，你思考得非常深入，还记得 LSM 的第三层吗，HBase 会在合并的时候，将这些用不到的记录删...
hbase与hdfs相关部分命令
m0_37810784的博客
04-20 194
hbase与hdfs相关部分命令 查询hbase表数据量 ./hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名' 清理hbase表 #hbase shell > disable 'table' > drop 'table' 查询hbase数据 #hbase shell > scan "表名",FILTER=>"ValueFilter(=,'substring:***')" > scan "表名",FIL
Hadoop分布式存储：HDFS、HBase与Hive数据管理解析
总结起来，Hadoop的数据管理是一个综合性的体系，涵盖了从底层存储（HDFS）到数据处理（HBase、Hive）的多个层面。HDFS保证了数据的可靠存储，HBase提供了高性能的实时查询，而Hive则为数据分析提供了便利的接口。这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhblog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值