利用 HDFS inotify：解析 Edit 文件，近实时地监控文件变化

在各种文件系统的使用中，在某些场合我们往往会有这样一个需求点：我们想对某个文件/目录进行事件监听，监听的事件包括：在目标目录下新增文件了，又或者说是删除了什么文件，更改了什么文件等等。这其实是对目标文件目录数据的一个比较实时的监控。我们比较传统的方案是：去做定期的全盘扫描，然后算出增量值与最新统计值。这种方式的优点是实现简单，但是缺点也很明显，就是太低效了。那么在目前现有的 Linux 操作系统中，是否有这样的一套 Event事件通知机制呢？答案是有的，这套机制叫做 inotify。对 Linux 比较有研究的同学，应该不会陌生，但是本文所要叙述的主题是 HDFS inotify 。换句话说，就是 Linux inotify 机制在 HDFS 中的实现。但是苦于在网上没找到实现的逻辑代码，所以经过几天的研究，实现了这一功能。
以下是监控 HDFS 系统中的 /test02 这一目录的实现逻辑。有错误之处，还望大家多多指正

pom 依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>personal</groupId>
    <artifactId>com.hr.personal</artifactId>
    <version>1.0-SNAPSHOT</version>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <!-- hadoop所需要的jar -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-aws</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4