Impala invalidate metadata

 

参考《开源大数据分析引擎Impala实战》 贾传青 著  清华大学出版社

 

211页：

invalidate metadata: 更新元数据信息。在创建、删除、修改了数据库、表分区后使用本命令。

refresh ： 刷新HDFS数据文件位置相关的元数据信息。向表中加载了新的数据文件之后，需要使用该命令。

 

2.6 更新元数据 45页

  Impala可以对FCFile、SequenceFile、Parquet、Avro等多种文件格式进行查询。而对于某些类型的Impala支持的不太友好的文件格式，impala只能对其进行查询操作，却无法向其中写入数据。

     如果我们又不得不向其中写入数据，就必须通过Hive来进行。

对于通过Hive创建，删除，修改或者其他类型的操作，Impala都无法自动识别到Hive中元数据的变更情况。

如果想让Impala识别到这些变化，在连接到impala-shell后首先要做的操作就是 INVALIDATA METADATA , 该语句将会使所有的Impala 元数据失效并重新从元数据同步元数据信息。

 

对于通过Hive加载、插入、改变的数据操作，或者通过hdfs命令对数据文件进行的变更操作，impala都无法自动识别数据的变更情况。

如果想让Impala识别到这些变化，在连接到impala-shell后，首先要做的操作就是 REFRESH table_name ，该语句会让Impala识别到数据的变更情况。

 

（通常情况下，如果在一个impalad进程节点上执行了 create databases，drop database，create table，alert table， drop table 语句，在其他iapad进程节点运行一个查询之前总是需要执行INVALDATE METADATE 语句同步对象的元数据信息。同样的道理，如果在一个impalad 进程节点执行insert语句，其他节点在运行一个查询之前需要执行refresh table，以便让这个节点知道这个表有新增的数据文件。 当通过impala执行可能引起元数据变化的语句时，catalog 服务确保不必再执行refresh /invalidate metadata 这样的同步语句。

 但是，如果是通过hive进行创建表，加载数据等类似的操作时，还是需要在impalad进程节点上执行refresh / invalidate metadata 操作的

）

 

invalidate metadata tablename和refresh tablename随机在各台机器上进行测试

除了对hdfs进行操作外，只要通过impala的命令执行的数据修改，一律不需要进行元数据的同步工作

 

补充

补充一： 亲测，catalog服务同步元数据的时候会有一定的延迟，但是不会特别长，我遇到过一次，延迟在一秒左右，不会太长。

补充二：这次没有对hive进行测试，但是按照官网的解释，通过hive和hdfs进行的操作，都会需要执行更新元数据的操作。

 

Impala Daemon:

这个进程是运行在集群每个节点上的守护进程，是Impala的核心组件。在每个节点上这个进程的名称为impalad。

它负责读写数据文件：接受来自impala-shell，Hue，JDBC，或odbc的查询请求，与集群的其他节点分布式并行工作，并将本节点的查询结果返回给中心协调者节点。

协调者：我们可以向任何一个impalad进程节点提交查询，这个节点将作为这个查询的“协调者”。

 

Impala Statestore: 

 Statestore 搜索集群中impalad进程的健康情况，并不断地将健康状况的结果转发给所有的impalad进程节点。Statestore的进程名称为：statestored。

（一个impala集群只需要一个statestore进程节点。当impala节点由于硬件故障，网络错误，软件问题或者其他原因导致节点不可用，statestore将确保这一信息及时的传达到所有的impalad进程节点上，当有新的查询请求时，impalad进程节点将不会把查询请求发送到不可用的节点上。）

 

Impala Catalog:

当impala集群中执行的sql语句会引起元数据变化时，catalog服务将负责将这些变化推送到其他impalad进程节点。