flume面经

1.组成、事务

        source-》put-》channel-》take-》sink

source:tirdirSource 支持断点续传

channel:file、mem、kafka(与kafka的兼容性做的非常好,在flume1-》kakfa-》flume2的结构中,flume1使用kafkachannel(相当于kafka的生产者)【减少了sink操作】,kafka在传到flume2【消费者】(kafkachannel、hdfs sink)中)

2.拦截器-Flume拦截器是Flume的一个重要组件,其作用是对事件流进行实时的转换和处理。

        项目中主要实现了ETL拦截器(格式和数据是否完整)和日志类型区分拦截器(分发到不同的topic)

        自定义拦截器步骤:

一、实现intercept接口

二、1重写initialize方法

                  2重写intercept方法 单个event

                  3重写intercept方法 list<event>

                   4重写close()

三、静态内部类,实现interceptor.Builder,作用是新建当前拦截器类的实例(在Build方法中),传入参数进行构造

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;

public class DataFilterInterceptor implements Interceptor {

    private List<String> filterWords;

    private DataFilterInterceptor(List<String> filterWords) {
        this.filterWords = filterWords;
    }

    @Override
    public void initialize() {
        // 初始化方法,可以在这里进行一些初始化操作
    }

    @Override
    public Event intercept(Event event) {
        // 获取事件中的原始数据
        String eventData = new String(event.getBody(), StandardCharsets.UTF_8);

        // 检查原始数据中是否包含过滤词汇,如果包含则忽略该事件
        for (String word : filterWords) {
            if (eventData.contains(word)) {
                return null; // 返回null表示忽略该事件
            }
        }

        // 返回处理后的事件
        return event;
    }

    @Override
    public List<Event> intercept(List<Event> events) {
        List<Event> interceptedEvents = new ArrayList<>();

        for (Event event : events) {
            Event interceptedEvent = intercept(event);

            if (interceptedEvent != null) {
                interceptedEvents.add(interceptedEvent);
            }
        }

        return interceptedEvents;
    }

    @Override
    public void close() {
        // 关闭方法,可以在这里进行一些清理操作
    }

    public static class Builder implements Interceptor.Builder {

        private List<String> filterWords;

        @Override
        public Interceptor build() {
            return new DataFilterInterceptor(filterWords);
        }

        @Override
        public void configure(Context context) {
            // 从配置中获取过滤词汇列表
            String filterWordsStr = context.getString("filterWords");
            filterWords = new ArrayList<>();

            // 将逗号分隔的过滤词汇添加到列表中
            for (String word : filterWordsStr.split(",")) {
                filterWords.add(word.trim());
            }
        }
    }
}

3.channel选择器

根据不同的日志主题分发到不同的sink中,主要有两种:1多路复用multipexingCS根据数据类型的不同 2广播分发 replicatingCS

4.监控器

ganglia

日常优化

5.容错机制

        5.1.多种类型channel选择,file、mem、kafka、JDBC,其中file、JDBC、kafka都是有可靠性保证,支持持久化到磁盘。

        5.2.支持事务-kafka、JDBC channel支持事务,当事件传输过程中出现错误时,可以回滚或重新发送。

        5.3.控制channel的大小,确保可以维持高峰时期的运作。

        5.4.source、channel、sink的监控

6.flume内存

优化角度4个方面:

        6.1.JVM中heap 4G大小分配, 初始内存和最大内存大小保持一致,避免内存抖动和fullgc的发生(都是内存不足导致的)-Xmx 参数设置最大堆内存大小,使用 -Xms 参数设置初始堆内存大小。例如,-Xmx2g 表示最大堆内存为 2GB

                6.1.1.内存抖动,当内存空间不足以容纳应用程序时,会置换一定的内存页面到磁盘的虚拟内存当中。

                6.1.2.fullgc 垃圾回收的机制之一,与之相对应的是 partial gc。为什么要垃圾回收,主要是定期释放已使用完毕的内存空间以供后续使用。fullgc运行时会让执行应用程序停止运行以保证正确进行垃圾回收,故影响系统运行的效率,应尽量避免fullgc。

        6.2.channel内存 Flume 中的 Channel 组件可以使用内存来缓存事件数据。可以通过配置 Channel 的 capacity 参数来设置内存容量大小。例如,capacity = 10000 表示 Channel 的内存容量为 10000 个事件。

        6.3 sink缓冲内存 Sink 组件在处理事件数据时,可能使用内存缓冲区来提高写入性能。一些 Sink 类型(如 HDFS Sink)提供了相关的配置选项,例如 batchSizebatchSizeBytes,用于设置内存缓冲区的大小

        6.4 JVM调优

7.file channel优化

将datadir存放到多个磁盘的多个目录底下开增加flume吞吐量

8.HDFSsink小文件

影响:元数据 计算

应对:合并小文件、数据分区、动态调整滚动策略(数据写入时决定写入多少内容后重新开一个文件)、数据压缩

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值