Impala的数据刷新

开始

Impala 在传统的 MySQL 或 PostgreSQL 数据库称为 Metastore 上保持其表定义，Hive 也在相同的数据库上保存此类型的数据。因此，Impala 可以访问由 Hive 定义或加载的表。

对于具有大量数据或多个分区的表，检索表内所有元数据可能会花费很长时间，在某些情况下需要几分钟。因此，每个 Impala 节点缓存所有这些数据，以便在未来对同一表进行查询时重复使用。

如果更新表定义或表数据，集群中所有其他Impala Daemon必须接收到最新的元数据、更换过时的缓存元数据，然后再对该表发出查询。所以在hive里做了相应操作，需要使用impala同步最新数据。主要有两种方式，INVALIDATE METADATA和REFRESH。关于实时刷新的一点想法，请戳链接

INVALIDATE METADATA

INVALIDATE METADATA是用于刷新全库或者某个表的元数据，包括表的元数据和表内的文件数据，它会首先清楚表的缓存，然后从metastore中重新加载全部数据并缓存，该操作代价比较重，主要用于在hive中修改了表的元数据，需要同步到impalad，例如create table/drop table/alter table add columns等。

INVALIDATE METADATA 语法

INVALIDATE METADATA;                   //重新加载所有库中的所有表
INVALIDATE METADATA [table]