【flume 配置详解】

Flume是一款分布式的日志收集、聚合、传输系统，它可以很方便地从各种数据源中采集数据，并将数据封装成事件(Event)的形式传输到目的地。为了实现这种功能，Flume需要通过配置文件来指定数据源和目的地之间的交互方式。

Flume的配置文件主要由以下几个部分组成：

1、Agent配置

Agent配置包括Agent的名称和类型，以及定义了整个Flume配置文件中使用的组件和属性。

例如，以下为一个完整的Agent配置文件：

#定义Agent的名称和类型，可以包括源、通道和目标组件的配置
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1

#定义组件的属性
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /var/log/messages
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.sinks.sink1.type = logger

#定义组件之间的连接
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在这些属性中，type是最重要的一个属性，它指定了每个组件的类型。

2、Source配置

Source用于定义数据源，数据源可能是文件、数据库、网络等，Flume会将这些数据源中的数据转换成Event事件，然后将这些事件交给通道(Channel)进行存储和传输。

例如：

agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /var/log/messages
agent1.sources.source1.channels = channel1

在上面的配置中，我们使用了exec类型的Source组件，它通过执行"tail -F /var/log/messages"命令来实时监测日志文件的变化，并将其转换成Event事件，然后将事件交给channel1通道进行存储和传输。

3、Channel配置

Channel用于存储和传输Event事件。在Flume中，可以使用多种类型的Channel来实现不同的功能，比如内存通道(Memory Channel)、文件通道(File Channel)等。

例如：

agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000

在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。

4、Sink配置

Sink用于定义数据的目的地，比如HDFS、HBase、Kafka等，Flume会将Event事件从通道(Channel)中取出，并将其传输到Sink中。

例如：

agent1.sinks.sink1.type = logger
agent1.sinks.sink1.channel = channel1

在上面的配置中，我们使用了logger类型的Sink组件，它会将Event事件输出到标准输出流中。

5、其他配置

除了上述部分之外，Flume配置文件中还可以包含一些其他的配置，比如拦截器(Interceptor)和序列化器(Serializer)等，它们可以对Event事件进行处理、过滤和转换等。

例如：

agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = regex_filter
agent1.sources.source1.interceptors.i1.regex = .*ERROR.*
agent1.sources.source1.interceptors.i1.excludeEvents = true

agent1.sinks.sink1.serializer = avro
agent1.sinks.sink1.serializer.schemaRegistry = http://localhost:8081

在上面的配置中，我们使用了一个拦截器(regex_filter)，它会过滤掉所有不包含ERROR的Event事件。另外，我们还使用了avro类型的serializer，它会将Event事件序列化成二进制格式，并将其传输到schemaRegistry中。

总结：

Flume的配置文件非常灵活，可以根据实际需求进行配置，实现各种复杂的数据采集和传输场景。但是，由于其配置较为繁琐和复杂，需要对Flume有一定的了解和实际经验才能够正确地配置和使用。