impala invalidate metadata 问题

背景：

CDH集群运行几天后主节点会报磁盘根目录空间不足警告，上机器看一下发现df和du结果差异巨大，猜测有些文件被
删除但有进程并未释放文件句柄。

排查：

执行 lsof |grep "(deleted)"
不出所料，发现10000多个以下文件：
catalogd  18019             impala  252r      REG              253,1  28011300     819296 /tmp/9a02bf7f-bf3b-461c-a4e9-b49638cbc27b.jar (deleted)
catalogd  18019             impala  253r      REG              253,1  28010056     819223 /tmp/852f0830-a9d5-4921-b0e4-3089e520b739.jar (deleted)
catalogd  18019             impala  255r      REG              253,1  28010056     819238 /tmp/bdfd341d-db28-4df8-96ab-de5a9308ddb8.jar (deleted)
catalogd  18019             impala  256r      REG              253,1  28010056     819218 /tmp/ef50fe5b-aa08-4593-bd99-abcad886216c.jar (deleted)
catalogd  18019             impala  258r      REG              253,1  28010056     819219 /tmp/fb5d5375-9514-4af1-91a8-dcdc5849165a.jar (deleted)
catalogd  18019             impala  259r      REG              253,1  28010056     819234 /tmp/2194ce13-5805-48d8-bca2-b4d3e849dca8.jar (deleted)
catalogd  18019             impala  260r      REG              253,1  28010056     819221 /tmp/a6e621c6-076b-4bed-a45a-559be5f3214e.jar (deleted)
catalogd  18019             impala  261r      REG              253,1  28010056     819222 /tmp/3e1a5627-70e7-4070-85ef-4c003405d5b9.jar (deleted)
catalogd  18019             impala  262r      REG              253,1  28011255     819293 /tmp/5c270d7c-75c2-4ce2-aa6b-af9f39d42b23.jar (deleted)
catalogd  18019             impala  263r      REG              253,1  28010056     819224 /tmp/64e4e5af-8e0e-4d12-b187-adccb24af4e9.jar (deleted)
catalogd  18019             impala  264r      REG              253,1  28010056     819225 /tmp/7d4fa926-19dd-44c5-92b6-a34ed3530265.jar (deleted)

catalogd为impala负责更新mate的进程，所以对impala进行排查，经验证发现有程序在凌晨进行数据同步之后会执行invalidate metadata命令
，该命令执行后会立即出现大量该问题。

结果：
经粗略研究，应避免使用 invalidate metadata 全局更新。可使用invalidate metadata tableName 或者 refresh tableName代替即可。
具体原因有时间细查。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29754888/viewspace-2142707/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29754888/viewspace-2142707/