Hbase HFile 文件介绍

于 2023-07-30 10:27:14 发布
阅读量162 收藏
点赞数
文章标签： hbase 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45851738/article/details/132004158
版权

HFile 文件介绍

HFile 是 HDFS 上每个 store 文件夹下实际存储数据的文件了。这个文件存储了很多信息。

  • 数据本身（key value 键值对）
  • 元数据记录
  • 文件信息
  • 数据索引
  • 元数据索引
  • 固长尾部信息

每个 HFile 还会维护一个 布隆过滤器，文件中每有种 key，就在对应的位置标记。可以快速判断 get 的 key 在不在当前 HFile 中。

hbase hfile -m -f /hbase/data/bigdata/student/dad1271908af8262bf4c44a52bb24af1/name/93d3c00468014928a1e509b78b3475f5 使用这个命令可以看到 HFile 元数据的内容。
在这里插入图片描述

思考

  • HFile 文件从 mem store 多久进行一次刷写呢，刷写条件是什么？
  • 布隆过滤器可以进行多少 key 的判断（或者说 百万key 判断需要占用多大内存）
  • 布隆过滤器什么情况无法得到准确信息？
做一些深度思考
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
生成Hfile 并给HDFSSHELL授权
857技术社区
05-21 303
package cn.jkjf.bigdata.utils.test import java.text.SimpleDateFormat import java.util.{Date, UUID} import cn.jkjf.bigdata.utils.hbase.HFilePartitioner import cn.jkjf.bigdata.utils.mysql.Global import org.apache.hadoop.conf.Configuration import org.apach.
HFILE分析
01-20 1497
该文档转载至http://www.open-open.com/lib/view/open1388368126000.html（手动批注）   在这里主要分析一下HFile V2的各个组成部分的一些细节，重点分析了HFile V2的多级索引的机制，接下去有时间的话会分析源码中对HFile的读写扫描操作。 HFile和流程： 如下图，HFile的组成分成四部分，分别是Scanned Block
HBASE HFILE命令用法(查看hdfs上hbase文件的内容)
Ramelon的博客
11-23 1480
[ramelon@hadoop101 ~]$ hbase hfile usage: hfile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-i] [-k] [-m] [-p] [-s] [-v] [-w <arg>] -a,--checkfamily Enable family check -b,--printblocks Print block index meta data
HBase2.x（十一）HBase 读流程
weixin_45417821的博客
10-01 944
每一个 HFile 还会维护一个布隆过滤器（就像是一个很大的地图，文件中每有一种 key，就在对应的位置标记，读取时可以大致判断要 get 的 key 是否存在 HFile 中）。包括数据本身（keyValue 键值对）、元数据记录、文件信息、数据索引、元数据索引和一个固定长度的尾部信息（记录文件的修改情况）。timestamp -----------→ 时间戳（默认系统时间）rowlength -----------→ key 的长度。row -----------------→ key 的值。
HBase架构原理
weixin_43497444的博客
03-24 226
1）StoreFile 保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。 2）MemStore 写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile，每次刷写都...
hive-hbase-generatehfiles
04-27
Hive HBase生成HFile 该项目包含一个示例，该示例利用Hive HBaseStorageHandler生成HFile。 这种模式提供了一种方法，用于获取已存储在Hive中的数据，将其导出为HFile，并从这些HFile批量加载HBase表。概述HFile生成...
hbase-2.2.2hbase-2.2.2
最新发布
10-17
这个压缩包文件“hbase-2.2.2-bin.tar.gz”包含了HBase 2.2.2版本的源码、二进制文件和其他相关资源，适合在分布式环境中部署和使用。 HBase的设计灵感来源于Google的Bigtable论文，它构建于Hadoop之上，充分利用了...
hbase-1.2.1
04-22
- Compaction：定期合并HFile，减少文件数量，优化读取性能。 - Column Family配置：根据业务需求调整Block Size、缓存大小等参数。 总之，HBase 1.2.1与JDK 1.8、Hadoop 2.7.4和Zookeeper 3.4.1的结合，为大数据...
hbase的介绍
03-07
此外，HBase还使用MemStore（内存缓存）和HFile（磁盘文件）来存储数据，确保高效的数据处理。 总之，HBase是一个为大数据设计的列式存储数据库，它充分利用了Hadoop生态系统的分布式特性，提供高性能、高可靠性...
hbase 简介
09-15
在物理视图中，每个 ColumnFamily 存储在单独的 HDFS 文件中，空值不保存，且 RowKey 和 Version Number 在每个 Column Family 中都有副本。数据在物理存储上以 Region 进行分区，Region 是按照 RowKey 字典序排列的...
HBase内部结构详解
不是七七子的博客
11-27 1221
最近在看《HBase不睡觉书》，挺不错的，很适合入门，推荐大家看看。 宏观架构 Master： 负责启动的时候分配Region到具体的RegionServer，执行各种管理操作。（Master在HBase中的功能比较弱，假如Master挂了，依然可以对数据进行增删改查，但不能创建表、修改列族配置等）。 RegionServer： RegionServer上有一个或多个Region，我们读写的数据就存储在Region上。 Region： 存储一张表的一部分数据。 HDFS： 真正存储数据的载体。 Zoo.
使用MapReduce解析HDFS中的文件生成HFile文件导入HBase（三）
Meyao's Blog
03-23 2472
使用MapReduce生成HFile文件是导入大量数据到HBase的最快方法 总共分为两部分，生成HFile和导入到HBase 一、生成HFile 1.主程序ConvertToHFiles.java public class ConvertToHFiles extends Configured implements Tool { private static final L...
HFile Mapreduce阶段的优化
MonkeyJoey的博客
12-05 1018
Optimize Map/Reduce Job for HBase 1 背景 2 Map阶段的木桶原理 3 MapTask的产生 4 优化 1.背景MapReduce 的优化工作一直比较受重视，官方也提供了很多的接口。不同的实际生产环境可以使用自己开发的API，来获得更好的效率。这次分享一下最近开发的一个HFile的MapReduce的优化开发思想。2.Map阶段的木桶原
HFile存储格式
baiyunl的专栏
03-21 887
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型： 1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile 2. HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上...
将HDFS中的数据通过MapReduce产生HFile，然后将HFile导入到HBase具体案例分析
红豆和绿豆的博客
01-16 2485
Hadoop数据迁移：从Hadoop向HBase载入数据 Hadoop向HBase载入数据： 将数据从Hadoop中向HBase载入数据，该过程大致可以分为两步： 一、将Hadoop中普通文本格式的数据转化为可被HBase识别的HFile文件，HFile相当于Oracle中的DBF数据文件。 二、将HFile载入到HBase中，该过程实际就是将数据从一个地移动到HBase某表数据的存放地。
Hadoop生成HFile直接入库HBase心得
宏轩ＪＡＶＡ技术专栏
05-10 5446
转载请标明出处：http://blackwing.iteye.com/blog/1991380  hbase自带了ImportTsv类，可以直接把tsv格式（官方教材显示，是\t分割各个字段的文本格式）生成HFile，并且使用另外一个类org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles直接把HFile移动到hbase对应的hdf
Hbase在HDFS上的各个目录作用
shengjk1的博客
10-05 4436
1、/hbase/.META. 就是存储1中介绍的 META 表的存储路径。 2、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。 3、/hbase/.corrupt 存储HBa
hdfs合并块_请问HDFS 块和Hfile的关系？
weixin_39880899的博客
12-20 293
HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段连续的数据 (每条记录都有一个行键，按照行键字典序排列)每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阈值的时候，region就会等分会两个新的region(裂变)逻辑上切分 合并的时候进行物理切分当table中的行不断增多，就会有越来越多的region。这样一张完整...
HBase 维护--查看HLog和HFile
Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
09-06 7490
查看HLog 看了一些文章,HBase高可靠性是实现了HLog(Write-ahead Log)机制,那么HLog到底存在哪里了呢 首先去HDFS的/hbase目录查看一下. hadoop fs -ls -R /hbase, 可以看到hbase下面有个.logs文件夹. logs文件夹下存放的内容就是各个Region Server的HLog drwxr-xr-x   - hbase
hfile 导入hbase
05-13
要在Java中导入HBase，你需要使用HBase的客户端API。首先，你需要在你的项目中添加HBase的Java客户端API依赖项。这可以通过Maven或Gradle等构建工具来完成。 接下来，在你的Java代码中，你需要创建一个HBaseConfiguration实例，并将HBase集群的ZooKeeper连接信息传递给它。然后，你需要使用这个配置来创建一个HBaseAdmin实例，用于管理HBase表。 下面是一个简单的示例代码，演示如何导入HBase客户端API并连接到HBase集群： ``` java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HBaseAdmin; public class HBaseImportExample { public static void main(String[] args) throws Exception { // 创建HBase配置 Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "zookeeper1:2181,zookeeper2:2181,zookeeper3:2181"); // 创建HBase管理器 HBaseAdmin admin = new HBaseAdmin(config); // 在HBase中创建表 admin.createTable(...); // 关闭HBase管理器 admin.close(); } } ``` 在这个示例中，我们创建了一个HBase配置实例，并将HBase集群的ZooKeeper连接信息设置为"hbase.zookeeper.quorum"属性。然后，我们使用这个配置创建了一个HBaseAdmin实例，并使用它来创建一个新的HBase表。最后，我们关闭了HBaseAdmin实例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值