一个40亿的表,分成128个区,16384个slot,每个表分区大约3000W数据, 每个slot大约25W数据,虚拟机8C16G,1T空间,测试导出一个slot数据性能,结果如下:
select * from table where slot_id=0;
以slot_id为索引:大约100多秒,以slot_id和slice_id为索引时大约2秒,很奇怪的结果。
另外,数据增加到60亿,即每个表4500W数据时,一个slot数据约36W,性能显著下降,原来2秒,现在变成1‘24’‘了。
一个40亿的表,分成128个区,16384个slot,每个表分区大约3000W数据, 每个slot大约25W数据,虚拟机8C16G,1T空间,测试导出一个slot数据性能,结果如下:
select * from table where slot_id=0;
以slot_id为索引:大约100多秒,以slot_id和slice_id为索引时大约2秒,很奇怪的结果。
另外,数据增加到60亿,即每个表4500W数据时,一个slot数据约36W,性能显著下降,原来2秒,现在变成1‘24’‘了。