kylin—Refresh Setting详细剖析

问题描述：由于业务场景的需要数据，所以我的数据是从2017-01-01 00:00:00开始的，数据源是kafka。从下图可以看出，我的Cube分为三次去build，第一次是0-40595条，第二次是40595-55706条，第三次55706-62307，也就意味着我Cube中含有的records应该为62307条。之后奇怪事情发生了，因为我之前定义了auto merge ,所以在我build第三次的时候，刚好到了新的一周，Cube自动执行merge segments，但是它只merge了第二次和第三次的数据，第一次的4W+的数据没有合并，这也导致在merge之后原本6W多条的数据，最终只剩下2W余，第一次的数据全部丢失。归纳一下就是：Cube在自动merge之后丢失数据。

解决方法：因为由于出现问题的地方实在merge之后，于是回到配置页面，查看Refresh Setting的相关设置。这部分是用来设计增量Cube合并信息，默认为每隔7天就merge增量的segments（每一个segment逻辑对应着一个物理的cube），每个28天merge哪些前面7天合并的segments。官方提供了四个参数。

1. Auto Merge Threshold：大鱼吃小鱼，小鱼吃虾米的故事。即自动合并小的segments到