背景:
CDH集群运行几天后主节点会报磁盘根目录空间不足警告,上机器看一下发现df和du结果差异巨大,猜测有些文件被
删除但有进程并未释放文件句柄。
排查:
执行 lsof |grep "(deleted)"
不出所料,发现10000多个以下文件:
catalogd 18019 impala 252r REG 253,1 28011300 819296 /tmp/9a02bf7f-bf3b-461c-a4e9-b49638cbc27b.jar (deleted)
catalogd 18019 impala 253r REG 253,1 28010056 819223 /tmp/852f0830-a9d5-4921-b0e4-3089e520b739.jar (deleted)
catalogd 18019 impala 255r REG 253,1 28010056 819238 /tmp/bdfd341d-db28-4df8-96ab-de5a9308ddb8.jar (deleted)
catalogd 18019 impala 256r REG 253,1 28010056 819218 /tmp/ef50fe5b-aa08-4593-bd99-abcad886216c.jar (deleted)
catalogd 18019 impala 258r REG 253,1 28010056 819219 /tmp/fb5d5375-9514-4af1-91a8-dcdc5849165a.jar (deleted)
catalogd 18019 impala 259r REG 253,1 28010056 819234 /tmp/2194ce13-5805-48d8-bca2-b4d3e849dca8.jar (deleted)
catalogd 18019 impala 260r REG 253,1 28010056 819221 /tmp/a6e621c6-076b-4bed-a45a-559be5f3214e.jar (deleted)
catalogd 18019 impala 261r REG 253,1 28010056 819222 /tmp/3e1a5627-70e7-4070-85ef-4c003405d5b9.jar (deleted)
catalogd 18019 impala 262r REG 253,1 28011255 819293 /tmp/5c270d7c-75c2-4ce2-aa6b-af9f39d42b23.jar (deleted)
catalogd 18019 impala 263r REG 253,1 28010056 819224 /tmp/64e4e5af-8e0e-4d12-b187-adccb24af4e9.jar (deleted)
catalogd 18019 impala 264r REG 253,1 28010056 819225 /tmp/7d4fa926-19dd-44c5-92b6-a34ed3530265.jar (deleted)
catalogd为impala负责更新mate的进程,所以对impala进行排查,经验证发现有程序在凌晨进行数据同步之后会执行invalidate metadata命令
,该命令执行后会立即出现大量该问题。
结果:
经粗略研究,应避免使用 invalidate metadata 全局更新。可使用invalidate metadata tableName 或者 refresh tableName代替即可。
具体原因有时间细查。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29754888/viewspace-2142707/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/29754888/viewspace-2142707/