- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Impala中的invalidate metadata和refresh
前言Impala采用了比较奇葩的多个impalad同时提供服务的方式，并且它会由catalogd缓存全部元数据，再通过statestored完成每一次的元数据的更新到impalad节点上，Impala集群会缓存全部的元数据，这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的，例如通过hive建表，直接拷贝新的数据到HDFS上等，Impala提供了两种机制来实现元数据的更新，分
2017-05-27 12:03:57
39514
1
原创 谈谈分布式Aggregation
聚合操作（Aggregation）是OLAP分析查询中最常见的操作之一，可以说它是数据分析查询的基石，它对应这SQL中的GROUP BY子句，OLAP中的上卷下钻操作无非就是对于GROUP BY和WHERE条件的改变，如何能够高效的实现聚合是决定OLAP分析性能的最重要因素之一（另外几个因素包括如何减少SCAN记录数、如何高效实现JOIN等）。
2017-05-21 12:29:36
6400
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人