spooldir source处理windiws换行符文件

1. 问题发现

       最近我在使用Flume中spooldir类型的source监视linux本地目录处理文件时发现，Flume在监视到Windows文件（也就是换行符为\r\n）时，我的自定义拦截器处理读取到的每一行数据时，会发生一些想不到的结果，比如输出的字符串为乱码、输出的字符串和原始文件中的字符串不一致等。后来我查看了一下其源码，发现flume默认使用的串并转化器LINE

              

       是以 \n 为行结束符的

              

       因此spooldir在读取到Windows文件时，会将 \r 符号读取到event body中，有时会对我们后续的解析造成一定的影响。

 

2. 解决方案

       在自定义拦截器中处理event body时，先将event body读取出来，然后检测是否包含 \r 符号，如果包含该符号，则将其删除，然后重新设置到event body中。方法代码如下：

import org.apache.flume.Event;

/**
 * event事件处理工具类
 *
 * @author wzq
 */
public class EventUtils {

    /**
     * 去掉event body中的 \r 字符，并将处理之后的body重新设置到Event对象中，Event对象参数的内容就会发生改变
     *
     * @param event Event对象
     * @return 处理之后的event body字符串
     **/
    public static String lineBreak(Event event) {
        String line = new String(event.getBody());
        if (line.contains("\r")) {
            line = line.substring(0, line.length()-1);
        }
        event.setBody(line.getBytes());
        return line;
    }

}

之后在自定义拦截器中获取event body时，就可以直接调用该方法来获取，避免了 \r 符号对实际的结果在成的影响。

String body = EventUtils.lineBreak(event);

);