增量处理框架：Hudi

Hudi（Hadoop Upserts and Incrementals）增量处理框架

一、工作原理：

DFS上对数据进行索引和布局，分为插入更新和增量拉取。

存储类型：

• CopyOnWrite（写时复制）：

  • 仅使用列文件格式（parquet）存储数据 在写入过程执行同步合并，并更新版本重写文件。
  • 即使更新一行，都将重写整个parquet文件，文件越大，花费时间越长。 读视图：快照查询、增量查询

• MergeOnRead（读时合并）：

  • 使用列式（parquet）加基于行（avro）的文件格式组合，来存储数据。

  • 写入hudi的新数据，都会更新记录到新的日志或增量文件中，文件在内部数据以avro编码

  • 然后同步或异步压缩，生成新版本的列文件（parquet）

  • 读视图：快照查询、增量查询、读取优化

    写时复制	读时合并
    延迟	高
    耗（I/O)	高（重写parquet）
    quet文件大小	小（高I/O损耗代价）
    更高 更低	（取决于压缩策略）

• Copy On Write(写入性能差，读性能高）

• Merge On Read（读性能差，但写入比较及时，可提供近实时的数据分析能力）

二、写入工具：Spark HudiDataSource Api、DeltaStreamer

1. DeltaStreamer：HoddieDeltaStreamer工具（hudi-utilities-bundle中的一部分）

• 提供了从Sqoop、HiveIncrementalPuller输出或DFS文件夹中的多个文件增量导入
• 支持json、avro或之定义记录类型的传入数据
• 管理检查点，回滚、恢复
• 利用DFS或Confluent schema注册表的Avro模式
• 支持自定义转换操作

2. Datasource Writer: hudi-spark模块提供的DataSource API

• 可以将任何DataFrame写入（读取）到Hudi数据集中

三、查询：

hive、spark、presto、MapReduce

四、管理：

• Admin CLI
  • 通过hudi的命令行工具，管理hudi表
• Graphite指标
  • 为Hudi Client配置正确的数据集名称和指标环境后，它将生成以下graphite指标，以帮助调试hudi数据集

五、其他：

• 性能：使用hoodieKey
• 缺点：
  • 缺乏事务锁等机制
  • 不支持同时刻多个用户写一张表
  • 不支持NoSQL / RDBMS数据存储
• 使用Hadoop InputFormat相关扩展直接操作Parquet文件（能更好的被其他计算引擎整合）
• HiveSyncTool:
  • hudi提供HiveSyncTool工具同步数据到hive
• 支持的语言：Scala、Java
  • Python支持以pyspark操作hudi: https://issues.apache.org/jira/browse/HUDI-783
• hudi提供了docker，便于初学者练习：https://github.com/apache/hudi