flink1.16新特性列举
-4:对于shuffle中一个上游的数据有多个下游共用的情况,以前是上游vertex生成多个数据集,然后供下游使用,这导致了数据被序列化和持久化了多次。--10:sort-shuffle的index文件以前存储的位置信息是当前数据分区的buffer数(the number of buffers in the current data region),这样不便于快速的定位目标数据的边界,现在改成了记录当前数据分区的bytes数,这样也便于做如下优化:为了连续性IO读取,读取大于一个buffer的数据。
复制链接