spark入hudi延迟优化

最近在做spark入数据湖（hudi），

最开始使用默认的布隆过滤器索引，延迟总是不能达成要求，看了下原理，如果有比较多的更新，那么每次更新是需要读取base文件中的id来确认是真实的更新写入，因此更新较多的情况下，入湖延迟有比较大的波动。

后来看到了字节贡献的bucket索引，如果使用常规的用法，面临着分桶数需要提前指定，分桶大小难以估计的困难。

最后，我这块做的入湖，都是对应的mysql表入湖，每个表都有对应的自增id，而且每条mysql数据大小的范围就是通常的大小，没有相差太多，因此入湖的时候，我给每张表新增了一列_id_index, 采用这个字段做分区，同时使用bucketIndex，指定分桶数为1.

其中_id_index = id/step， 这样相当于实现了范围分桶，

比如，如果指定step=10， 那么

0-9在0号分区

10-19在1号分区，等等。。。

其实这相当于实现了一种range分桶的感觉，由于目前的线上数据，多是更新比较新的数据，最后入湖的延迟达到了一个比较稳定的低延迟。

后续可能根据这个思想实现一下range_bucket_index, 大致写了下比较简单，但是会限制指定的分桶字段只能是long型，而且如果不是自增的long型，其实是不好的。

好在mysql的自增id都符合这个要求。