ClickHouse JOIN优化技巧

1.避免JOIN

       数据预生成(由Spark/Flink或者Clickhouse物化视图产出数据)，形成大宽表，基于单表的查询是ClickHouse最为擅长的场景

2.使用IN代替JOIN

       JOIN需要基于内存构建hash table且需要存储右表全部的数据，然后再去匹配左表的数据。而IN查询会对右表的全部数据构建hash set，但是不需要匹配左表的数据，且不需要回写数据到block

3.优先本地JOIN

       数据预先相同规则分区，也就是Colocate JOIN。优先将需要关联的表按照相同的规则进行分布，查询时就不需要分布式的JOIN

4.数据冗余存储

       如果一个表的数据量比较小，可以不分shard存储，每个shard都存储全量的数据，例如我们的业务对象表。查询时，不需要分布式JOIN，直接在本地进行JOIN即可，这样也可以避免分布式JOIN带来的查询放大和全表数据分发问题

5.更少的数据

       不论是分布式JOIN还是本地JOIN，都需要尽量让少的数据参与JOIN，既能提升查询速度也能减少资源消耗

6.优化分布式JOIN的执行逻辑，依托于字节跳动对ClickHouse       的深度定制化

7.小表置于join右侧降低内存消耗

8.减少数据扫描提高执行速度 通过增加过滤逻辑可以减少数据扫     描，达到提高执行速度及降低内存消耗的目的。