impala常见优化策略
-
分区不能超过3w多
-
要执行compute stats xxx 表
-
join时,把小表写前面,会把小表广播到其他节点。
-
选择parquert 格式存储。
-
刷新Impala invalidate metadata时,跟上表,禁止直接执行invalidate metadata不跟表,而且只有设计表结构变化才推荐使用invalidate metadata,如果只涉及数据或者分区变化推荐使用reflash刷新
impala常见优化策略
分区不能超过3w多
要执行compute stats xxx 表
join时,把小表写前面,会把小表广播到其他节点。
选择parquert 格式存储。
刷新Impala invalidate metadata时,跟上表,禁止直接执行invalidate metadata不跟表,而且只有设计表结构变化才推荐使用invalidate metadata,如果只涉及数据或者分区变化推荐使用reflash刷新