电商离线数仓项目-Flume中的ETL拦截器/日志类型区分拦截器

最新推荐文章于 2023-05-11 09:38:35 发布

梦里Coding

最新推荐文章于 2023-05-11 09:38:35 发布

阅读量1.1k

点赞数 1

分类专栏： hadoop 文章标签： kafka maven big data

本文链接：https://blog.csdn.net/weixin_43586713/article/details/120545030

版权

hadoop 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

Flume里面涉及到拦截器对数据进行处理:
在这里插入图片描述

本项目中自定义了两个拦截器，分别是：ETL拦截器、日志类型区分拦截器。
ETL拦截器主要用于，过滤时间戳不合法和json数据不完整的日志
日志类型区分拦截器主要用于，将错误日志、启动日志和事件日志区分开来，方便发往kafka的不同topic。
1）创建maven工程flume-interceptor
2）创建包名：com.atguigu.flume.interceptor
3）在pom.xml文件中添加如下配置

<dependencies>
    <dependency>
        <groupId>org.apache.flume</groupId>
        <artifactId>flume-ng-core</artifactId>
        <version>1.7.0</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>2.3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass>com.atguigu.appclient.AppMain</mainClass>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

4）在com.atguigu.flume.interceptor包下创建LogETLInterceptor类名
Flume ETL拦截器LogETLInterceptor

package com.atguigu.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;

public class LogETLInterceptor implements Interceptor {

    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        String body = new String(event.getBody(), Charset.forName("UTF-8"));

        // body为原始数据，newBody为处理后的数据,判断是否为display的数据类型
        if (LogUtils.validateReportLog(body)) {
            return event;
        }

        return null;
    }

    @Override
    public List<Event> intercept(List<Event> events) {

        ArrayList<Event> intercepts = new ArrayList<>();

        // 遍历所有Event，将拦截器校验不合格的过滤掉
        for (Event event : events) {
            
            Event interceptEvent = intercept(event);

            if (interceptEvent != null){
                intercepts.add(interceptEvent);
            }
        }

        return intercepts;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {

        public Interceptor build() {
            return new LogETLInterceptor();
        }


        @Override
        public void configure(Context context) {

        }
    }
}

主要是去执行validateReportLog方法,进行一个合格性的校验

5）Flume日志过滤工具类

package com.atguigu.flume.interceptor;

import org.apache.commons.lang.StringUtils;
import org.apache.commons.lang.math.NumberUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class LogUtils {

    private static Logger logger = LoggerFactory.getLogger(LogUtils.class);

    /**
     * 日志检查，正常的log会返回true，错误的log返回false
     *
     * @param log
     */
    public static boolean validateReportLog(String log) {

        try {
//          日志的格式是：时间戳| json串
//          1549696569054 | {"cm":{"ln":"-89.2","sv":"V2.0.4","os":"8.2.0","g":"M67B4QYU@gmail.com","nw":"4G","l":"en","vc":"18","hw":"1080*1920","ar":"MX","uid":"u8678","t":"1549679122062","la":"-27.4","md":"sumsung-12","vn":"1.1.3","ba":"Sumsung","sr":"Y"},"ap":"weather","et":[]}
            String[] logArray = log.split("\\|");

            if (logArray.length < 2) {
                return false;
            }
//          检查第一串是否为时间戳 或者不是全数字
            if (logArray[0].length() != 13 || !NumberUtils.isDigits(logArray[0])) {
                return false;
            }

//          第二串是否为正确的json,这里我们就粗略的检查了，有时候我们需要从后面来发现json传错的数据，做分析
            if (!logArray[1].trim().startsWith("{") || !logArray[1].trim().endsWith("}")) {
                return false;
            }
        } catch (Exception e) {
//          错误日志打印，需要查看
            logger.error("parse error,message is:" + log);
            logger.error(e.getMessage());

            return false;
        }

        return true;
    }
}

思路:首先是将数据进行切割成时间戳和json两个片段,第一个部分就是对时间戳的校验,该数据是否达到指定的位数或者是该数据里面是否全都都是数字.第二部分对json格式的数据做的一个校验就是首尾去空,之后判断开头和结尾是否以"{" 和"}"为开头和结尾的.

5）Flume日志类型区分拦截器LogTypeInterceptor

package com.atguigu.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;
import java.util.Map;

/**
 * Created by Administrator on 2019/1/18 0018.
 */
public class LogTypeInterceptor implements Interceptor {

    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        // 1获取flume接收消息头
        Map<String, String> headers = event.getHeaders();

        // 2获取flume接收的json数据数组
        byte[] json = event.getBody();

        // 将json数组转换为字符串
        String jsonStr = new String(json);

        String logType = "" ;

// startLog
        if (jsonStr.contains("start")) {
            logType = "start";
        }
        // eventLog
        else {
            logType = "event";
        }

        // 3将日志类型存储到flume头中
        headers.put("logType", logType);

        return event;
    }

    @Override
    public List<Event> intercept(List<Event> events) {

        ArrayList<Event> interceptors = new ArrayList<>();

		for (Event event : events) {
		     Event interceptEvent = intercept(event);	
		     interceptors.add(interceptEvent);
		}

		return interceptors;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {

        public Interceptor build() {
            return new LogTypeInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}

思路: 去获取flume接收消息的头部信息,再把flume接收到的json转化成String字符串,接着判断这个字符串是否包含"start"的值,如果包含该值,就将这条记录归为启动日志类型,如果包含"event"的值,就该这条记录归类为事件日志。

面试:
创建maven工程,导入flume的依赖,创建一个类实现Intercept接口,实现里面的四个方法:初始化方法,两个event的处理方法和close方法。取到一条event之后,首先将他转化成String。转化完了之后,通过split方法对其进行切割,切割完之后得到一个数组,这个数组有两个数据,一个是时间戳,一个是json格式。
首先检查时间戳的格式,他的长度是不是等于13,他是不是全是数字,如果不是,就返回false。
接着第二个数据通过trim()方法首尾去空之后,判断是否以’{’ 开头和以 ’ }'结尾,如果不是就返回false。
判断完了之后添加到集合里面返回即可。

梦里Coding

关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
打赏
1
评论
电商离线数仓项目-Flume中的ETL拦截器/日志类型区分拦截器

本项目中自定义了两个拦截器，分别是：ETL拦截器、日志类型区分拦截器。ETL拦截器主要用于，过滤时间戳不合法和json数据不完整的日志日志类型区分拦截器主要用于，将错误日志、启动日志和事件日志区分开来，方便发往kafka的不同topic。1）创建maven工程flume-interceptor2）创建包名：com.atguigu.flume.interceptor3）在pom.xml文件中添加如下配置<dependencies> <dependency>
复制链接

扫一扫