Hudi学习一：Hudi简介

一、Apache Hudi 基本介绍

        Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。

官网

二、发展历史

        2015 年：发表了增量处理的核心思想/原则（O'reilly 文章）

        2016 年：由 Uber 创建并为所有数据库/关键业务提供支持

        2017 年：由 Uber 开源，并支撑 100PB 数据湖

        2018 年：吸引大量使用者，并因云计算普及

        2019 年：成为 ASF 孵化项目，并增加更多平台组件

        2020 年：毕业成为 Apache 顶级项目，社区、下载量、采用率增长超过 10 倍

        2021 年：支持 Uber 500PB 数据湖，SQL DML、Flin