Flume里面涉及到拦截器对数据进行处理:
本项目中自定义了两个拦截器,分别是:ETL拦截器、日志类型区分拦截器。
ETL拦截器主要用于,过滤时间戳不合法和json数据不完整的日志
日志类型区分拦截器主要用于,将错误日志、启动日志和事件日志区分开来,方便发往kafka的不同topic。
1)创建maven工程flume-interceptor
2)创建包名:com.atguigu.flume.interceptor
3)在pom.xml文件中添加如下配置
<dependencies>
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-core</artifactId>
<version>1.7.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.atguigu.appclient.AppMain</mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
4)在com.atguigu.flume.interceptor包下创建LogETLInterceptor类名
Flume ETL拦截器LogETLInterceptor
package com.atguigu.flume.interceptor;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;
public class LogETLInterceptor implements Interceptor {
@Override
public void initialize() {
}
@Override
public Event intercept(Event event) {
String body = new String(event.getBody(), Charset.forName("UTF-8"));
// body为原始数据,newBody为处理后的数据,判断是否为display的数据类型
if (LogUtils.validateReportLog(body)) {
return event;
}
return null;
}
@Override
public List<Event> intercept(List<Event> events) {
ArrayList<Event> intercepts = new ArrayList<>();
// 遍历所有Event,将拦截器校验不合格的过滤掉
for (Event event : events) {
Event interceptEvent = intercept(event);
if (interceptEvent != null){
intercepts.add(interceptEvent);
}
}
return intercepts;
}
@Override
public void close() {
}
public static class Builder implements Interceptor.Builder {
public Interceptor build() {
return new LogETLInterceptor();
}
@Override
public void configure(Context context) {
}
}
}
主要是去执行validateReportLog方法,进行一个合格性的校验
5)Flume日志过滤工具类
package com.atguigu.flume.interceptor;
import org.apache.commons.lang.StringUtils;
import org.apache.commons.lang.math.NumberUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class LogUtils {
private static Logger logger = LoggerFactory.getLogger(LogUtils.class);
/**
* 日志检查,正常的log会返回true,错误的log返回false
*
* @param log
*/
public static boolean validateReportLog(String log) {
try {
// 日志的格式是:时间戳| json串
// 1549696569054 | {"cm":{"ln":"-89.2","sv":"V2.0.4","os":"8.2.0","g":"M67B4QYU@gmail.com","nw":"4G","l":"en","vc":"18","hw":"1080*1920","ar":"MX","uid":"u8678","t":"1549679122062","la":"-27.4","md":"sumsung-12","vn":"1.1.3","ba":"Sumsung","sr":"Y"},"ap":"weather","et":[]}
String[] logArray = log.split("\\|");
if (logArray.length < 2) {
return false;
}
// 检查第一串是否为时间戳 或者不是全数字
if (logArray[0].length() != 13 || !NumberUtils.isDigits(logArray[0])) {
return false;
}
// 第二串是否为正确的json,这里我们就粗略的检查了,有时候我们需要从后面来发现json传错的数据,做分析
if (!logArray[1].trim().startsWith("{") || !logArray[1].trim().endsWith("}")) {
return false;
}
} catch (Exception e) {
// 错误日志打印,需要查看
logger.error("parse error,message is:" + log);
logger.error(e.getMessage());
return false;
}
return true;
}
}
思路:首先是将数据进行切割成时间戳和json两个片段,第一个部分就是对时间戳的校验,该数据是否达到指定的位数或者是该数据里面是否全都都是数字.第二部分对json格式的数据做的一个校验就是首尾去空,之后判断开头和结尾是否以"{" 和"}"为开头和结尾的.
5)Flume日志类型区分拦截器LogTypeInterceptor
package com.atguigu.flume.interceptor;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.util.List;
import java.util.Map;
/**
* Created by Administrator on 2019/1/18 0018.
*/
public class LogTypeInterceptor implements Interceptor {
@Override
public void initialize() {
}
@Override
public Event intercept(Event event) {
// 1获取flume接收消息头
Map<String, String> headers = event.getHeaders();
// 2获取flume接收的json数据数组
byte[] json = event.getBody();
// 将json数组转换为字符串
String jsonStr = new String(json);
String logType = "" ;
// startLog
if (jsonStr.contains("start")) {
logType = "start";
}
// eventLog
else {
logType = "event";
}
// 3将日志类型存储到flume头中
headers.put("logType", logType);
return event;
}
@Override
public List<Event> intercept(List<Event> events) {
ArrayList<Event> interceptors = new ArrayList<>();
for (Event event : events) {
Event interceptEvent = intercept(event);
interceptors.add(interceptEvent);
}
return interceptors;
}
@Override
public void close() {
}
public static class Builder implements Interceptor.Builder {
public Interceptor build() {
return new LogTypeInterceptor();
}
@Override
public void configure(Context context) {
}
}
}
思路: 去获取flume接收消息的头部信息,再把flume接收到的json转化成String字符串,接着判断这个字符串是否包含"start"的值,如果包含该值,就将这条记录归为启动日志类型,如果包含"event"的值,就该这条记录归类为事件日志。
面试:
创建maven工程,导入flume的依赖,创建一个类实现Intercept接口,实现里面的四个方法:初始化方法,两个event的处理方法和close方法。取到一条event之后,首先将他转化成String。转化完了之后,通过split方法对其进行切割,切割完之后得到一个数组,这个数组有两个数据,一个是时间戳,一个是json格式。
首先检查时间戳的格式,他的长度是不是等于13,他是不是全是数字,如果不是,就返回false。
接着第二个数据通过trim()方法首尾去空之后,判断是否以’{’ 开头和 以 ’ }'结尾,如果不是就返回false。
判断完了之后添加到集合里面返回即可。