hudi系列-schema evolution

在RFC-33中描述，hudi对schema evolution进行了统一设计，在官网文档中也指明了从0.11版本开始，spark-sql ddl是支持schema evolution的，而flink-sql在旧版本中并不支持ddl方式对表结构，所以full schema evolution都隐藏在读写过程中。对于使用者，我们最终只关心表的读和写，但从实现层面来看，schema evolution需要覆盖不同的数据文件格式，还需要集成在各种hudi的表服务中。

• hudi 0.13.1
• flink 1.14.5

schema on read模式

schema on read模式下才支持复杂的schema evolution，目前需要显式启用hoodie.schema.on.read.enable，否则默认是非schema on read模式

语义

hudi中提供的完整schema evolution语义如下，目前spark已经全面实现，而flink因未对接ddl，所以尚未支持重命名。

• 添加一个新列到表或者嵌套的结构体
• 从表或嵌套的结构体删除一个已有列
• 将一个已有的列或结构体内的字段重命名
• 将数据类型更改为范围更大，包括列、结构体字段、map键值、数组元素的类型
• 改变列或嵌套结构体的字段顺序<