HDFS新运维工具命令之listOpenFiles命令

前言

在运维集群的时候，我们有的时候需要去知道哪些文件存在未被及时关闭的情况。否则会造成一定程度上的资源泄露，比如内存无缘无故就被耗掉了。可能有人会想，好端端的文件，为什么会存在未被关闭的情况呢？答案是有可能的，当发生各种异常写文件的情况时，就有可能发生。这在HDFS内部同样也会发生。对此，社区最近在实现添加一项新的管理员命令-listOpenFiles命令来帮助集群管理者获取这些“打开中的文件”，此命令可以即时获取当前集群中有哪些文件是处于打开中的状态。本文笔者打算谈谈此命令另外一些辅助的用处。此命令在其它场景同样有重要的作用。

listOpenFiles的应用场景

listOpenFiles命令有以下主要几大使用场景

1）调试，定位问题时进行使用。

2）关闭异常情况导致资源泄露的文件。

3）找到那些阻塞住节点下线的未关闭的文件。

前面2点，大家一看就明白了，笔者这里主要谈一谈第3点，什么叫“那些阻塞住节点下线的未关闭的文件”？这得要提及一些HDFS中节点做decomission下线操作的内容了。在DataNode节点下线中，有这么一条需要满足的要求：当待下线节点中存在打开中的文件，表明此文件目前不是一个完整状态，此文件副本就无法复制到其它节点上，由于存在未完全复制完的副本，则待下线节点就无法被下线。也就是前面说的阻塞住下线操作了。当集群规模达到千级别，万级别规模时，节点变更操作是非常频繁的，如果出现文件未关闭导致节点无法下线，将会是一件麻烦的事，所以listOpenFiles在这种情况下是非常有帮助的。

现有类似命令：hdfs fsc