利用 HDFS inotify：解析 Edit 文件，近实时地监控文件变化

在各种文件系统的使用中，在某些场合我们往往会有这样一个需求点：我们想对某个文件/目录进行事件监听，监听的事件包括：在目标目录下新增文件了，又或者说是删除了什么文件，更改了什么文件等等。这其实是对目标文件目录数据的一个比较实时的监控。我们比较传统的方案是：去做定期的全盘扫描，然后算出增量值与最新统计值。这种方式的优点是实现简单，但是缺点也很明显，就是太低效了。那么在目前现有的 Linux 操作系统中，是否有这样的一套 Event事件通知机制呢？答案是有的，这套机制叫做 inotify。对 Linux 比较有研究的同学，应该不会陌生，但是本文所要叙述的主题是 HDFS inotify 。换句话说，就是 Linux inotify 机制在 HDFS 中的实现。但是苦于在网上没找到实现的逻辑代码，所以经过几天的研究，实现了这一功能。
以下是监控 HDFS 系统中的 /test02 这一目录的实现逻辑。有错误之处，还望大家多多指正

pom 依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>personal</groupId>
    <artifactId>com.hr.personal</artifactId>
    <version>1.0-SNAPSHOT</version>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <!-- hadoop所需要的jar -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-aws</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4</version>
        </dependency>
    </dependencies>
</project>

Java 代码实现逻辑

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DFSInotifyEventInputStream;
import org.apache.hadoop.hdfs.client.HdfsAdmin;
import org.apache.hadoop.hdfs.inotify.Event;
import org.apache.hadoop.hdfs.inotify.EventBatch;
import org.apache.hadoop.hdfs.inotify.MissingEventsException;

import java.io.IOException;
import java.net.URI;
import java.text.SimpleDateFormat;

public class HdfsApp {
    /**
     * 解析edit文件信息的方法
     */
    public static void TestEvent() throws IOException, MissingEventsException, InterruptedException {
        HdfsAdmin admin = new HdfsAdmin(URI.create("hdfs://133.165.102.10:8020"), new Configuration());
        //获取事件的流对象
        DFSInotifyEventInputStream inotifyEventStream = admin.getInotifyEventStream();
        //转换时间格式---> 时间戳转为时间
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm");
        while (true){
            //手动获取事件
            EventBatch events = inotifyEventStream.take();
            for (Event event: events.getEvents()){
                //事件类型
//                System.out.println("事件类型是：" + event.getEventType());
                switch (event.getEventType()){
                    //1、创建事件：如果是创建目录的话，直接创建成功；如果是创建文件，先要创建一个后缀为._COPYING_的临时文件，之后再进行rename操作
                    //WebHDFS的上传文件不会生成中间文件，直接就是最终文件
                    case CREATE:
                        Event.CreateEvent create = (Event.CreateEvent) event;
                        String createPath = create.getPath();
//                        System.out.println("软链接是：" + create.getSymlinkTarget());
                        //todo 添加要过滤的目录前缀，控制所监控的目录
                        if (createPath.startsWith("/test02")){
                            //打印上传文件的信息、新建文件夹的信息。只有文件大小在close那一步体现
                            //todo 最近根据是否是文件夹，给权限前加d
                            System.out.println("文件：" + create.getPath().replace("._COPYING_", "") +
                                    "，权限：" + create.getPerms() +
                                    "，副本数：" + create.getReplication() +
                                    "，所属者：" + create.getOwnerName() +
                                    "，组名：" + create.getGroupName() +
                                    "，创建时间：" + simpleDateFormat.format(create.getCtime())
                            );
                            //获取本事件操作的INode的类型（三种类型）：file/directory/SYSLINK
                            Event.CreateEvent.INodeType iNodeType = create.getiNodeType();
                            switch (iNodeType){
                                case FILE:
                                    if (!createPath.endsWith("_COPYING_")){
                                        System.out.println("正在使用Restful风格上传文件，路径为：" + createPath);
                                    }
                                    break;
                                case DIRECTORY:
                                    if (createPath.startsWith("/test02")){
                                        System.out.println("创建目录成功，路径为：" + createPath);
                                    }
                                    break;
                                case SYMLINK:
                                    System.out.println("正在创建软链接，路径为：" + createPath);
                                    break;
                                default:
                                    break;
                            }
                        }
                        break;

                    //2、一是创建文件（生成最终文件）；二是删除文件；三是更改文件（夹）；四是移动文件（夹）
                    //删除文件夹，只提示删除文件夹，不显示删除文件
                    //WebHDFS的删除不会进回收站
                    case RENAME:
                        Event.RenameEvent rename = (Event.RenameEvent) event;
                        //源路径
                        String srcPath = rename.getSrcPath();
                        //目标路径
                        String dstPath = rename.getDstPath();
                        //rename时间
                        String renameTime = simpleDateFormat.format(rename.getTimestamp());
                        if (srcPath.startsWith(dstPath)&srcPath.endsWith("_COPYING_")&dstPath.startsWith("/test02")){
                            //如果源地址是以目的地址开头的，则可以判断是临时文件。当其rename之后，就变成了最终文件
                            System.out.println("正在使用非restful风格上传文件，路径为：" + dstPath);
                            //如果源地址的路径是以过滤路径开头，目的地址是以垃圾桶路径开头。则认为是删除目录（不跳过垃圾桶）
                        }else if (dstPath.startsWith("/user")&srcPath.startsWith("/test02")){
                            System.out.println("正在使用非restful风格删除文件，路径为：" + srcPath);
                            //剩下的情况就是修改文件（夹）名称、或者移动文件（夹）
                        }else {
                            if (dstPath.startsWith("/test02")&srcPath.startsWith("/test02")){
                                if (dstPath.split("/").length == srcPath.split("/").length) {
                                    System.out.println("正在更改文件（夹）的名称，原始路径为：" + srcPath);
                                    System.out.println("正在更改文件（夹）的名称，最终路径为：" + dstPath +
                                            "，更改时间：" + renameTime);
                                }else {
                                    System.out.println("正在移动文件（夹），原始路径为：" + srcPath);
                                    System.out.println("正在移动文件（夹），最终路径为：" + dstPath +
                                            "，移动时间：" + renameTime);
                                }
                            }
                        }
                        break;

                    //3、未知操作：比如跳过回收站删除文件（夹）
                    case UNLINK:
                        Event.UnlinkEvent unlinkEvent = (Event.UnlinkEvent) event;
                        String unlinkPath = unlinkEvent.getPath();
                        if (unlinkPath.startsWith("/test02")){
                            System.out.println("正在使用restful风格删除文件，路径为：" + unlinkPath);
                        }
                        break;

                    //4、当写完文件，rename之前，会进行这一步操作
                    //Sent when a file is closed after append or create.
                    case CLOSE:
                        Event.CloseEvent closeEvent = (Event.CloseEvent) event;
                        String closePath = closeEvent.getPath();
                        long fileSize = closeEvent.getFileSize();
                        //加过滤条件
                        if (closePath.startsWith("/test02")) {
                            System.out.println(closePath.replace("._COPYING_", "") +
                                    "文件大小为：" + fileSize);
                        }
                        break;

                    //5、给文件追加内容。追加之后的文件大小也会在close处输出
                    //shell命令追加为：-appendToFile
                    case APPEND:
                        Event.AppendEvent appendEvent = (Event.AppendEvent) event;
                        String appendPath = appendEvent.getPath();
                        System.out.println("正在使用shell命令行给文件追加内容，路径为：" + appendPath);
                        break;

                    case METADATA:
                        Event.MetadataUpdateEvent metadataUpdateEvent = (Event.MetadataUpdateEvent) event;
                        String metaPath = metadataUpdateEvent.getPath();
                        System.out.println("The METADATA path is：" + metaPath);
                        break;
                    default:
                        break;
                }
            }
        }
    }

    public static void main(String[] args) throws MissingEventsException, InterruptedException, IOException {
        TestEvent();
    }
}

对于事件 METADATA 还是有些困惑，需要后续的研究

有一部分测试，详见：浅谈 Java API 与 shell 命令行操作 HDFS，实现增删改功能