Hudi表存储

传统Hadoop体系的的数据表主要有hive表和hbase表，其中hive表的元数据信息（包括：schema、表和分区的存储信息等）存储在Metastore元数据表中，数据文件则多采用ORC格式；HBase表的元数据（包括：表定义和region分布等）存储在hbase:meta表中，数据文件采用HFile格式。

Hudi作为近几年新诞生的数据湖平台组件，可支持事务，并且可方便地与多种计算引擎和存储引擎进行整合，是当前数据湖仓体系的核心组成部分。为了更好地支撑数据湖仓的技术要求，Hudi设计了自身的数据组织方式，并且采用的是当前社区中应用广泛、发展成熟的底层文件格式。

元数据：

1.  Hudi表的基本元数据信息（表的schema、存储路径等）可以同步到hive的metastore中，目前的各类SQL引擎主要还是通过Hive Metastore来获取hudi仓库及其数据表的基本元数据信息。

Hudi社区（Hive Metastore | Apache Hudi）提供并推荐采用HiveSyncTool工具，主要的同步模式为hms和jdbc（默认）两种，并且HiveSyncTool还支持命令行或者API的方式来执行，如下为几种常见的同步方法：

1) 通过Hudi提供的run_sync_tool.sh脚本将表的元数据同步至hive metastore，该方式的可实现定期或准实时的元数据同步；

2) 通过SQL引擎的客户端或者API方式可实现实时的元数据同步，以Spark和Flink为例：

• Spark SQL ：
  - 将Hive的配置文件（hive-site.xml）和相关jar包同步到spark sql客户端，即可在客户端执行DDL语句的同时将元数据同步至HMS；
  - 在Spark代码中通过调用DataSource的API来创建数据表并同步元数据。
• Flink SQL：在flink sql客户端执行建表语句时通过指定同步元数据的参数即可将表的元数据同步至HMS。

2. 在每张hudi表的元数据目录(.hoodie)中保存了更为丰富的hudi表的元数据，主要包括：

• 表属性和schema：记录表的基本属性和schema信息。
• 时间线：记录每次对数据表进行写入或表服务的时间戳、事件类型及执行状态。
• 索引属性：索引类型
• MDT： 如果开启了MDT特性，则在.hoodie/metadata目录下会生成文件列表、bloom索引、范围索引等信息，可以减少file list操作快速定位所需要读写的文件。MDT的数据采用HFile的存储格式，由于在HFile中构造了LSM树索引和bloom索引、以及数据的有序性，因此利用HFile来存储MDT可进一步加快记录的检索速度。
• 归档文件：用于存储过期的时间线数据。（清理策略）
• 心跳：如果一张表涉及并发写入，在上一次写入未执行完成的情况下发生了新的写入，则需要根据心跳文件（存储在.hoodie/.heartbeat目录下）的更新时间间隔来判断是否要对上一次的写入执行rollback操作。
• 辅助信息：在.hoodie/.aux目录中存储表的一些辅助或者拓展的信息，例如flink checkpoint的状态等。

       

业务数据：

业务数据则按照分区和文件组的方式进行组织。如果表划分了分区，则各个分区中分布着该分区下的文件组；如果未划分分区，则整张表的数据由一个或者多个文件组构成。为了避免出现大量的小文件，hudi表为文件组设计了以FileGroup(文件组)为单位的最小空间限额，当写入的数据未达到该阈值则不可创建新的文件组。

在一个文件组中，由于多次写入更新或者压缩等操作会产生多个文件片，这些文件片具有各自的时间戳，记录了文件组中数据版本变更的历史。

如下为文件组的代码定义：

public HoodieFileGroup(HoodieFileGroupId fileGroupId, HoodieTimeline timeline) {
  this.fileGroupId = fileGroupId;
  this.fileSlices = new TreeMap<>(HoodieFileGroup.getReverseCommitTimeComparator());
  this.timeline = timeline;
  this.lastInstant = timeline.lastInstant();
}

1）fileGroupId：文件组id，该字段通过HoodieFileGroupId类来定义，由定义可见：fileGroupId是由分区路径和分区内的文件id两部分组成，单个fileGroupId在hudi表中可唯一标识一个文件组。

public HoodieFileGroupId(String partitionPath, String fileId) {
  this.partitionPath = partitionPath;
  this.fileId = fileId;
}

2）fileSlices：文件片，在一个文件组中可能发生多次数据写入，每次发生数据写入（COW表）或发生compaction后（MOR表）均会生成一个新版本的base文件，这个base文件及与MOR表产生的log文件的时间戳一致，并且时间戳一样的文件属于同一个fileSlice，可见，一个文件组下可能出现多个fileSlice，在一个flileSlice中有一个base文件，并且在MOR表情况下还会有一个或多个log文件。如下为文件片的定义：

public FileSlice(HoodieFileGroupId fileGroupId, String baseInstantTime) {
  this.fileGroupId = fileGroupId;
  this.baseInstantTime = baseInstantTime;
  this.baseFile = null;
  this.logFiles = new TreeSet<>(HoodieLogFile.getReverseLogFileComparator());
}

3）timeline：该文件组的时间线对象。

4）lastInstant：代表该文件组中最新执行完成的实例，可用于快速定位到最新版本的文件片，从而提升读写性能。

                                             

 文件格式：

业务数据采用Parquet和Avro格式，其中parquet用于存储文件组中的base文件，avro格式的文件用于存储MOR表的变更日志。

Parquet格式的文件采用列式存储，可以快速获取特定列的信息；并且在文件末尾的Footer部分记录了文件中数据的索引信息来加速检索；同时，Parquet文件对数据进行了压缩（默认采用Snappy压缩），这些都大大加快了其数据读取的性能：

       

Parquet文件虽然读性能具有较大优势，但是每次写入均需要重写整个文件，因此写入效率不是很高，Parquet更适合读性能要求较高的场景。

采用Avro文件快速地将文件组的更新数据追加到文件中，从而提升写入效率，因此，Avro文件更适合写入频繁的实时写入场景。

如下是Avro文件的组织结构，数据是以Block为单位顺序写入的：