大数据之Flume进阶

最新推荐文章于 2021-10-25 11:09:13 发布
最新推荐文章于 2021-10-25 11:09:13 发布
阅读量349 收藏
点赞数
分类专栏： big data 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yutao_struggle/article/details/102649867
版权

1 Flume事务

transaction

2 Flume Agent内部原理

process

  1. Source接收到数据后，将数据封装成Event，Source绑定了一个Channel Processor，将Event发送给Channel Processor。
  2. Channel Processor首先会调用拦截器链对Event进行处理，处理完后再调用Channel Selector返回写入Event的Channel列表。
  3. 根据Channel Selector返回的Channel列表，将Event写入相应的Channel。
  4. SinkProcessor选择Sink从Channel中获取Event。

2.1 ChannelSelector

ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Event 发往所有的 Channel， Multiplexing 会根据相应的原则，将不同的 Event 发往不同的 Channel。

2.1.1 Replicating Channel Selector

属性名默认值说明
selector.typereplicating默认replicating，可用replicating或multiplexing
selector.optional-可选的通道

例：

a1.sources = r1
a1.channels = c1 c2 c3
a1.sources.r1.channels = c1 c2 c3
a1.sources.r1.selector.type = replicating
a1.sources.r1.selector.optional = c3

c3是可选通道，写入c3的失败将被忽略。由于c1和c2没有标记为可选，因此无法写入这些通道将导致事务失败。

2.1.2 Multiplexing Channel Selector

属性名默认值说明
selector.typereplicating默认replicating，可用replicating或multiplexing
selector.headerflume.selector.headerevent header部分配置的属性名称，用于获取属性值指定通道
selector.default-在event header部分配置的属性值没有被匹配映射时的默认通道
selector.mapping.*-指定event header部分配置的属性的值映射到哪些通道

多路复用选择具有另一组属性，以使流分叉。这需要指定Event属性到通道集合的映射。选择器检查Event Header中的每个已配置属性。如果它与指定值匹配，那么该事件将发送到映射到该值的所有通道。如果没有匹配项，则将事件发送到配置为默认值的一组通道。

例：

agent_foo.sources = avro-AppSrv-source1
agent_foo.sources.avro-AppSrv-source1.selector.type = multiplexing
# header部分被selector识别的属性名称
agent_foo.sources.avro-AppSrv-source1.selector.header = State
agent_foo.sources.avro-AppSrv-source1.selector.mapping.CA = mem-channel-1
agent_foo.sources.avro-AppSrv-source1.selector.mapping.AZ = file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.mapping.NY = mem-channel-1 file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.default = mem-channel-1

选择器会扫描Event Header的属性State，如果值为CA，则将其发送到mem-channel-1；如果其值为AZ，则将其发送到file-channel-2；如果值为NY，则两者都发送，如果未设置State标头或不匹配这三个标头中的任何一个，则它将转到指定为default的mem-channel-1。

选择器还支持可选通道。要为标头指定可选通道，可通过以下方式使用config参数“ optional”：

# channel selector configuration
agent_foo.sources.avro-AppSrv-source1.selector.type = multiplexing
agent_foo.sources.avro-AppSrv-source1.selector.header = State
agent_foo.sources.avro-AppSrv-source1.selector.mapping.CA = mem-channel-1
agent_foo.sources.avro-AppSrv-source1.selector.mapping.AZ = file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.mapping.NY = mem-channel-1 file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.optional.CA = mem-channel-1 file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.mapping.AZ = file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.default = mem-channel-1
  • 选择器将首先尝试写入required通道，如果其中一个通道消费Event失败将导致事务失败，事务将在所有required通道上重试。一旦所有required通道成功消费了Event，选择器将尝试写入所有可选通道，任何可选通道未能消费事件都将被忽略，不会重试。
  • 如果可选通道和特定标头的required通道之间存在重叠，则认为该通道是required的，并且该通道中的故障将导致重试整个required通道集。
  • 如果没有指定任何可选通道，将会尝试写入可选通道和默认通道。

2.2 Sink Processor

SinkProcessor 共 有 三 种 类 型 ， 分 别 是 DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， LoadBalancingSinkProcessor 和FailoverSinkProcessor 对应的是 Sink Group， LoadBalancingSinkProcessor 可以实现负载均衡的功能， FailoverSinkProcessor 可以实现故障转移的功能。

2.2.1 Default Sink Processor

Default Sink Processor 只接受单个sink。用户不必为单个sink创建processor (sink group)。相反，用户可以遵循之前的source-channel-sink模式。

2.2.2 Failover Sink Processor

Failover Sink Processor维护一个按优先级排序的sink列表，确保只要有一个可用的sink，就会处理(交付)事件。
故障转移机制的工作方式是将失败的sink转移到冷却池中，一旦sink发送event成功，他将恢复到活动池中。可以通过processor.priority.*设置优先级，值越大优先级越高，如果sink发送event失败，将由下个最高优先级的去重试，没有指定优先级则按照配置顺序来确定。

属性名默认值说明
sinks-用空格分割的sink组列表
processor.typedefault可选default、load_balance、failover
processor.priority.<sinkName>-优先级设置，值越大优先级越大，必须唯一
processor.maxpenalty30000失败sink的最大回退周期（单位：s），冷却期

例：

#命名一个g1 sink组
a1.sinkgroups = g1
#g1 sink组下的sink列表
a1.sinkgroups.g1.sinks = k1 k2
#设置Sink Processor类型为failover
a1.sinkgroups.g1.processor.type = failover
#设置优先级，值唯一
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
#失败sink最大回退周期
a1.sinkgroups.g1.processor.maxpenalty = 10000

2.2.3 Load Balancing Sink Processor

属性名默认值说明
processor.sinks-用空格分割的sink组列表
processor.typedefault可选default、load_balance、failover
processor.backofffalse失败sink是否设置为指数回退
processor.selectorround_robin选择机制，必须是round_robin、random或继承AbstractSinkSelector的用户自定义FQCN
processor.selector.maxTimeOut30000失败sink的最大回退周期（单位：s），结合backoff使用

例：

#命名一个g1 sink组
a1.sinkgroups = g1
#g1 sink组下的sink列表
a1.sinkgroups.g1.sinks = k1 k2
#设置Sink Processor类型为load_balance
a1.sinkgroups.g1.processor.type = load_balance
#失败sink是否设置为指数回退
a1.sinkgroups.g1.processor.backoff = true
#选择器类型
a1.sinkgroups.g1.processor.selector = random

3 Flume 拓扑结构

3.1 单一流程（one-agent flow）

one-agent

3.2 多代理流程（multi-agent flow）

multi-agent
为了使数据跨多个代理或跃点流动，前一个代理的sink和当前跃点的source需要是avro类型并且sink指向source的主机名(或IP地址)和端口。可以将多个Agent顺序连接起来，这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent 的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。

3.3 流合并（Consolidation）

Consolidation
这种情况应用的场景比较多，比如要收集Web网站的用户行为日志， Web网站为了可用性使用的负载集群模式，每个节点都产生用户行为日志，可以为每 个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据的存储系统，如HDFS上。

3.4 多路复用流程（Multiplexing the flow）

Multiplexing the flow
将多种日志混合在一起流入一个agent，可以agent中将混杂的日志流分开，然后给每种日志建立一个自己的传输通道，也可以设置成复制流，每个通道都接收所有的流。

3.5 负载均衡流程（Load Balance）

load balance
Flume支持使用将多个 sink逻辑上分到一个 sink组，sink组配合不同的 SinkProcessor可以实现负载均衡和故障转移的功能。

4 案例

4.1 流合并

  1. 创建flume1-logger-flume.conf，配置Source用于监控hive.log文件，配置Sink输出数据到下一级Flume：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/root/hive.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 127.0.0.1
a1.sinks.k1.port = 4141

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  1. 创建flume2-netcat-flume.conf，配置Source监控端口44444数据流，配置Sink数据到下一级Flume：
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = 127.0.0.1
a2.sources.r1.port = 44444

# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = 127.0.0.1
a2.sinks.k1.port = 4141

# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
  1. 创建flume3-flume-logger.conf，配置source用于接收flume1与flume2发送过来的数据流，最终合并后sink到控制台：
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = 127.0.0.1
a3.sources.r1.port = 4141

# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1
  1. 执行配置文件，分别开启对应配置文件：flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf。
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a3 -c conf/ -f job/flume3-flume-logger.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a2 -c conf/ -f job/flume2-netcat-flume.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/flume1-netcat-flume.conf -Dflume.root.logger=INFO,console

4.2 多路复用流程

  1. 配置第一个agent，编写配置文件multi-one.conf：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
a1.sources.r1.selector.type = replicating

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/root/hive.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 127.0.0.1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path = hdfs://127.0.0.1:9000/flume/multi/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k2.hdfs.filePrefix = dfs-
#是否按照时间滚动文件夹
a1.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k2.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a1.sinks.k2.hdfs.rollSize = 134217700
#设置多少Event滚动，0表示滚动与Event数量无关
a1.sinks.k2.hdfs.rollCount = 0
#最小冗余数
a1.sinks.k2.hdfs.minBlockReplicas = 1

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。

  1. 配置第二个agent，编写配置文件multi-tow.conf：
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = 127.0.0.1
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = file_roll
a2.sinks.k1.sink.directory = /opt/module/datas/flume3

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
  1. 启动Flume
#先启动avro服务端,再启动avro客户端
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a2 -c conf/ -f job/multi-two.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/multi-one.conf -Dflume.root.logger=INFO,console

4.3 负载均衡和故障转移

5 用户自定义

官方自定义组件文档地址：http://flume.apache.org/releases/content/1.9.0/FlumeDeveloperGuide.html

5.1 自定义Interceptor与多路复用

在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构， Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。

案例：

  1. 创建maven项目，引入以下依赖。
    <dependency>
	<groupId>org.apache.flume</groupId>
	<artifactId>flume-ng-core</artifactId>
	<version>1.9.0</version>
</dependency>
  2. 自定义Interceptor需要实现org.apache.flume.interceptor.Interceptor接口。
    package com.yutao.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;

/**
 * @author yutyi
 * @date 2019/10/25
 */
public class CustomInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {
        byte[] body = event.getBody();
        if (body[0] < 'z' && body[0] > 'a') {
            event.getHeaders().put("type", "letter");
        } else if (body[0] > '0' && body[0] < '9') {
            event.getHeaders().put("type", "number");
        }
        return event;
    }

    @Override
    public List<Event> intercept(List<Event> events) {
        for (Event event : events) {
            intercept(event);
        }
        return events;
    }

    @Override
    public void close() {

    }
    
    public static class Builder implements Interceptor.Builder {
        @Override
        public Interceptor build() {
            return new CustomInterceptor();
        }
        @Override
        public void configure(Context context) {
        }
    }
}
  3. 将java代码打成jar包放到lib目录下
  4. 编辑Flume配置文件
    配置 1 个 netcat source， 1 个 sink group（2 个 avro sink），并配置相应的 ChannelSelector 和 interceptor。
    编辑flume-multi-avro.conf：
    # Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 127.0.0.1
a1.sources.r1.port = 44444
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.yutao.flume.interceptor.CustomInterceptor$Builder
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.letter = c1
a1.sources.r1.selector.mapping.number = c2

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 127.0.0.1
a1.sinks.k1.port = 4141
a1.sinks.k2.type=avro
a1.sinks.k2.hostname = 127.0.0.1
a1.sinks.k2.port = 4242

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Use a channel which buffers events in memory
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2
    编辑flume-avro-logger.conf：
    a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 127.0.0.1
a1.sources.r1.port = 4141
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1
    编辑flume-avro-logger1.conf：
    a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 127.0.0.1
a1.sources.r1.port = 4242
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1
  5. 启动Flume
    #先后启动以下进程
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/flume-avro-logger.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/flume-avro-logger1.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/flume-multi-avro.conf -Dflume.root.logger=INFO,console
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf/ -f job/flume-multi-avro.conf -Dflume.root.logger=INFO,console
  6. 测试
    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# nc -v 127.0.0.1 44444
hello
1111

5.2 自定义Source

官方也提供了自定义 source 的接口：https://flume.apache.org/FlumeDeveloperGuide.html#source
根据官方说明自定义MySource 需要继承 AbstractSource类并实现 Configurable 和 PollableSource 接口。

package com.yutao.flume.source;

import org.apache.flume.Context;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.SimpleEvent;
import org.apache.flume.source.AbstractSource;

public class MySource extends AbstractSource implements Configurable, PollableSource {

    /**
     * 定义配置文件将来要读取的字段
     */
    private String prefix;
    private String subfix;

    /**
     * 从配置文件读取属性
     * @param context
     */
    @Override
    public void configure(Context context) {
        prefix = context.getString("prefix");
        subfix = context.getString("subfix", "Hello!");
    }

    @Override
    public void start() {
        // Initialize the connection to the external client
    }

    @Override
    public void stop () {
        // Disconnect from external client and do any additional cleanup
        // (e.g. releasing resources or nulling-out field values) ..
    }

    /**
     * 1.接收数据
     * 2.封装事件
     * 3.将事件传给channel
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        Status status = null;
        try {
            for (int i = 0; i < 5; i++) {
                SimpleEvent event = new SimpleEvent();
                event.setBody((prefix + "-"+i+"-"+ subfix).getBytes());
                getChannelProcessor().processEvent(event);
                status = Status.READY;
            }
        } catch (Exception e) {
            e.printStackTrace();
            status = Status.BACKOFF;
        }
        try {
            Thread.sleep(2000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return status;
    }

    @Override
    public long getBackOffSleepIncrement() {
        return 0;
    }

    @Override
    public long getMaxBackOffSleepInterval() {
        return 0;
    }

}

5.3 自定义Sink

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent， Sink 就利用 Channel 提交事务。 事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。
官方也提供了自定义 sink 的接口：https://flume.apache.org/FlumeDeveloperGuide.html#sink
根据官方说明自定义MySink 需要继承 AbstractSink 类并实现 Configurable 接口。

package com.yutao.flume.sink;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * @author yutyi
 * @date 2019/10/28
 */
public class MySink extends AbstractSink implements Configurable {
    private Logger logger = LoggerFactory.getLogger(MySink.class);
    /**
     * 定义配置文件将来要读取的字段
     */
    private String prefix;
    private String suffix;

    /**
     * 从配置文件读取属性
     *
     * @param context
     */
    @Override
    public void configure(Context context) {
        //读取配置文件内容，有默认值
        prefix = context.getString("prefix", "hello:");
        //读取配置文件内容，无默认值
        suffix = context.getString("suffix");
    }

    /**
     * 1.获取Channel
     * 2.从Channel获取事务以及数据
     * 3.发送数据
     *
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        //声明返回值状态信息
        Status status;
        //获取当前 Sink 绑定的 Channel
        Channel ch = getChannel();
        //获取事务
        Transaction txn = ch.getTransaction();
        //声明事件
        Event event;
        //开启事务
        txn.begin();
        //读取 Channel 中的事件，直到读取到事件结束循环
        while (true) {
            event = ch.take();
            if (event != null) {
                break;
            }
        }
        try {
            //处理事件（打印）
            logger.info(prefix + new String(event.getBody()) + suffix);
            //事务提交
            txn.commit();
            status = Status.READY;
        } catch (Exception e) {
            //遇到异常，事务回滚
            txn.rollback();
            status = Status.BACKOFF;
        } finally {
            //关闭事务
            txn.close();
        }
        return status;
    }


    @Override
    public void start() {
        // Initialize the connection to the external repository (e.g. HDFS) that
        // this Sink will forward Events to ..
    }

    @Override
    public void stop() {
        // Disconnect from the external respository and do any
        // additional cleanup (e.g. releasing resources or nulling-out
        // field values) ..
    }
}

6 Flume 数据流监控

6.1 Ganglia 安装部署

  1. 安装 httpd 服务与 php

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo yum -y install httpd php

  2. 安装其他依赖

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo yum -y install rrdtool perl-rrdtool rrdtool-devel apr-devel

  3. 安装 ganglia

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# yum -y install epel-release
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo yum -y install ganglia-gmetad
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo yum -y install ganglia-web
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo yum -y install ganglia-gmond

    Ganglia 由 gmond、 gmetad 和 gweb 三部分组成。

    • gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。
    • gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。
    • gweb（Ganglia Web） Ganglia 可视化工具， gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

  4. 修改配置文件/etc/httpd/conf.d/ganglia.conf

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# vim /etc/httpd/conf.d/ganglia.conf
# Ganglia monitoring system php web frontend
Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Require all granted
# Require local
# Require ip 10.1.2.3
# Require host example.com
</Location>

  5. 修改配置文件/etc/ganglia/gmetad.conf

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# vim /etc/ganglia/gmetad.conf
data_source "hadoop01" 192.168.88.130

  6. 修改配置文件/etc/ganglia/gmond.conf

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# vim /etc/ganglia/gmond.conf
cluster {
name = "hadoop01"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
udp_send_channel {
#bind_hostname = yes # Highly recommended, soon to be default.
# This option tells gmond to use a source
address
# that resolves to the machine's hostname.
Without
# this, the metrics may appear to come from any
# interface and the DNS names associated with
# those IPs will be used to create the RRDs.
# mcast_join = 239.2.11.71
host = 192.168.88.130
port = 8649
ttl = 1
}
udp_recv_channel {
# mcast_join = 239.2.11.71
port = 8649
bind = 192.168.88.130
retry_bind = true
# Size of the UDP buffer. If you are handling lots of metrics you really
# should bump it up to e.g. 10MB or even higher.
# buffer = 10485760
}

  7. 修改配置文件/etc/selinux/config

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# vim /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

    提示： selinux 本次生效关闭必须重启，如果此时不想重启，可以临时生效之：

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo setenforce 0

  8. 启动 ganglia

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# systemctl start httpd
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# systemctl start gmetad
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# systemctl start gmond

  9. 打开网页浏览 ganglia 页面
    http://127.0.0.1/ganglia
    提示：如果完成以上操作依然出现权限不足错误，请修改/var/lib/ganglia 目录的权限：

    [root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# sudo chmod -R 777 /var/lib/ganglia

6.2 操作 Flume 测试监控

  1. 修改/opt/module/flume/conf 目录下的 flume-env.sh 配置：
JAVA_OPTS="-Dflume.monitoring.type=ganglia
-Dflume.monitoring.hosts=192.168.9.102:8649
-Xms100m
-Xmx200m"
  1. 启动 Flume 任务
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.88.130:8649
  1. 发送数据观察 ganglia 监测图
[root@iZnq8v4wpstsagZ apache-flume-1.9.0-bin]# nc localhost 44444
字段字段含义
EventPutAttemptCountsource 尝试写入 channel 的事件总数量
EventPutSuccessCount成功写入 channel 且提交的事件总数量
EventTakeAttemptCountsink 尝试从 channel 拉取事件的总数量
EventTakeSuccessCountsink 成功读取的事件的总数量
StartTimechannel 启动的时间（毫秒）
StopTimechannel 停止的时间（毫秒）
ChannelSize目前 channel 中事件的总数量
ChannelFillPercentagechannel 占用百分比
ChannelCapacitychannel 的容量
yutao_Struggle
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume NG 学习笔记（十） Transaction、Sink、Source和Channel开发
顾晓艳的专栏
10-31 5358
一、Transaction interface Transaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用Flume Transaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks的发送数据与接受数据都是在一个Transaction里完成的。 从上图中可以看出，一个Tr
《Apache Flume教程》第六章 Flum的配置和使用方法
zzg_1990的专栏
12-08 423
摘要: 　　安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。　　在Flume配置文件中，我们需要-　　命名当前代理的组件。　　描述/配置源。　　描述/配置接收器。 ... 　　安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。 　　在Fl
flume简介
ping的博客
06-20 405
一 flume简介flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，　　并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由A...
flume组合模式之高可用配置
星空的风fly
06-18 8732
一、flume简介 1、概念简述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 S...
Flume学习笔记及配置参数详解
xbing的博客
10-16 1152
转载自：https://blog.csdn.net/Wei_HHH/article/details/77838999 一、什么是flume Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 二、flume特点 flume的数据...
大数据技术之Flume教程
04-18
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 第一章 Flume概述 第二章 Flume入门 第三章 Flume进阶 第四章 企业真题面试
大数据学习进阶实战大纲，学习路径
12-23
以下是一个详细的学习进阶实战大纲，旨在帮助你从初级到高级逐步提升技能，避免在不重要的知识点上浪费时间。 第一阶段，你将深入学习Java SE核心知识。这部分涵盖Java编程的基础，如变量、数据类型、数组、运算符...
基于flume ,kafka , spark-streaming 统计分析大数据实战项目+源代码+文档说明
最新发布
04-09
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
基于Hadoop、Spark、FLUME、HIVE等大数据组件搭建的一个分布式集群环境下的电影推荐及日志分析平台+源代码文档说明
03-26
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
Java和大数据面试.zip
09-29
- **Flume**和**Nifi**：数据收集和传输工具，用于从各种源收集数据并发送到目标。 4. **Elasticsearch**： - **搜索引擎基础**：倒排索引、分词、TF-IDF等，理解Elasticsearch如何快速检索数据。 - **Elastic...
Hello~Flume！关于Flume的小分享
将懒惰进行到底
10-26 1085
Apache官网对Flume的描述是这样子的： Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architectur...
Flume NG 学习笔记（七）Sink Processors（故障转移与负载均衡）测试
顾晓艳的专栏
10-29 8819
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 简单的说就是一个source 对应一个Sinkgroups，即多个sink,这里实际上与第六节的复用/复制情况差不多，只是这里考虑的是可靠性与性能，即故障转移与负载均衡的设置。 下面是官方配
Flume配置Load balancing Sink Processor
02-22 104
1 官网内容 　　 2 找一个图来理解一目了然 3 详细配置 配置文件load_source_case.conf 配置数据入口 source到channel 配置了两个sink用来做负载均衡 #配置文件： a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 ...
【Flume】【源码分析】flume中LoadBalancingSinkProcessor负载均衡实现机制的源码分析
三也_攻城狮
01-12 2532
基于上一篇文章http://blog.csdn.net/simonchi/article/details/42520193 相对比较细致的分析后，该文章将对LoadBalancingSinkProcessor源码进行选择性的重要逻辑代码进行讲解 首先读取配置，当然是重写congifure方法 public void configure(Context context) { P...
Flume架构及应用
GSpinach的博客
08-19 1286
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 Flume简介 Flume基本概念 Flume架构 Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（origin...
使用Flume NG构建数据收集系统(第一部分 Flume介绍)
扑腾蛾子
05-28 4693
Flume是什么 收集、聚合事件流数据的分布式框架通常用于log数据采用ad-hoc方案，明显优点如下： 可靠的、可伸缩、可管理、可定制、高性能声明式配置，可以动态更新配置提供上下文路由功能支持负载均衡和故障转移功能丰富完全的可扩展 核心概念 EventClientAgent Sources、Channels、Sinks其他组件：Interceptors、
【Flume-1.8.0】Flume的序列化器、通道选择器、sink处理器以及拦截器
Ancony_的博客
04-05 3330
5 event的Serializerfile_roll sink和HDFS sink都支持EventSerializer接口。下面提供了Flume附带的EventSerializer的详细信息。1、Body文本序列化器该序列化器的别名为text。该拦截器（interceptor）将事件的主体（Body）写入输出流，而不进行任何转换或修改。事件header被忽略。配置选项如下：属性名称默认值描述ap...
Flume和Kafka结合实现日志采集
zhijunming的博客
08-18 1192
1,业务流程 2,日志采集 2.1采集模型 (1)用传统的flume聚合模型 采用这种模型服务器3的压力比较大,有可能会宕机.服务器1和服务器2是主动往服务器3进行数据的推送,而不是服务器3主动拉取. (2)结合Kafka的聚合模型(Kafka source) [1]解析 采用Kafka Channel，省去了Sink，提高了效率。KafkaChannel数据存储在Kafka里面，所以数据是存储在磁盘中。 注意在Flume1.7以前，Kafka Channel很少有人使用，因为发现parseAsFlu
Flume单数据源多出口案例(Sink组)
m0_63449353的博客
10-25 313
1.需求分析 2.实现步骤 1.准备工作 在/opt/module/flume/job目录下创建group2文件夹 [zz@hadoop102 job]$ cd group2/ 2.创建flume-netcat-flume.conf 配置1个接收日志文件的source和1个channel、两个sink，分别输送给flume-flume-console1和flume-flume-console2。 创建配置文件...
大数据云计算课程：MapReduce进阶教程（42页）
课程包括10个主要部分，详细讲解了大数据领域中的关键技术，如Hadoop、MapReduce、HDFS、YARN、Hive、HBase、Pig、Zookeeper、Sqoop、Flume、Kafka、Spark、Oozie、Impala、Solr等多个组件及其操作。 其中，【10....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值