Impala实时刷新同步Hive元数据

背景

通过HIVE对数据进行操作或更新元数据，Impala是无感知的，官方提供了两种手动刷新的方式，分别是INVALIDATE METADATA和REFRESH操作。但是使用起来相当不方便，针对此问题，想到两种简单的应对方案。

方案一

如果ETL处理都是通过脚本执行，那么可以考虑在脚本中添加手动刷新的命令，即某个表的数据已通过脚本处理完成，脚本的最后调用impala刷新一下这个表。这种方式无法处理手工进行数据处理的场景，即手动操作了某个表的数据，需要手动再调用impala刷新；还有一个问题是，如果已上线脚本很多，且不是同一模本生成的脚本，改造量还是很大的。

方案二

既然impala感知不到hive对数据的操作，那就改造让impala能够感知。具体思路如下，可以监控hive作业的运行日志，把相应的对数据进行操作的日志抓取出来，写入中间表，然后让impala轮询这张中间表，进行相应的刷新操作。整个过程就是，我们帮impala检测出hive的数据处理，然后通知impala做相应的刷新。