Flume学习（二）Flume的Source类型

最新推荐文章于 2023-10-15 14:33:46 发布

匿名啊啊啊

最新推荐文章于 2023-10-15 14:33:46 发布

阅读量3.6k

点赞数 1

分类专栏： Flume

本文链接：https://blog.csdn.net/qq_41851454/article/details/80219212

版权

本文详细介绍了Apache Flume的四种Source类型：Avro Source用于接收Avro客户端事件流，Thrift Source类似但基于Thrift协议，JMS Source从JMS系统读取数据，而Spooling Directory Source监控目录下的新文件并读取内容。每个Source都提供了配置示例和工作原理说明。

摘要由CSDN通过智能技术生成

1、概述

官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources

2、Flume Sources 描述

2.1　Avro Source

2.1.1　介绍

监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。字体加粗的属性必须进行设置。

!channels  –  

!type  –   类型名称，"AVRO"

!bind  –   需要监听的主机名或IP

!port  –   要监听的端口

threads    –   工作线程最大线程数

selector.type     

selector.*     

interceptors  –   空格分隔的拦截器列表

interceptors.*        

compression-type  none   压缩类型，可以是“none”或“default”，这个值必须和AvroSource的压缩格式匹配

sslfalse  是否启用ssl加密，如果启用还需要配置一个“keystore”和一个“keystore-password”。

keystore   –   为SSL提供的java密钥文件所在路径。

keystore-password–   为SSL提供的java密钥文件 密码。

keystore-typeJKS密钥库类型可以是“JKS”或“PKCS12”。

exclude-protocolsSSLv3  空格分隔开的列表，用来指定在SSL / TLS协议中排除。SSLv3将总是被排除除了所指定的协议。

ipFilter   false  如果需要为netty开启ip过滤，将此项设置为true

ipFilterRules–   定义netty的ip过滤设置表达式规则

2.1.2、示例

示例一：参考官方文档

实例二：

#通过 avro source 读取指定端口的输入数据  到控制台显示。  
a1.sources=s1  
a1.channels=c1  
a1.sinks=k1  
  
a1.sources.s1.type=avro  
a1.sources.s1.bind=192.168.123.102  
a1.sources.s1.port=55555  
  
a1.channels.c1.type=memory  
a1.sinks.k1.type=logger  
  
  
a1.sources.s1.channels=c1  
a1.sinks.k1.channel=c1

把 case_avro.properties 配置文件上传到linux系统上的 flumetest 文件夹：

用这个命令来启动Flume：（如果配置了环境变量，就把 bin/ 去掉）

bin/flume-ng agent --conf conf --conf-file /home/hadoop/apps/apache-flume-1.8.0-bin/flumetest/case_avro.properties --name a1 -Dflume.root.logger=INFO,console

--conf 指定flume配置文件的位置  
--conf-file 指定日志收集的配置文件  
--name 指定agent的名称  
-Dflume.root.logger=INFO,console 让收集的信息打印到控制台

启动后的部分结果：

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.  
18/05/06 11:46:25 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting  
18/05/06 11:46:25 INFO node.PollingPropertiesFileConfigurationProvider: Reloading configuration file:/home/hadoop/apps/apache-flume-1.8.0-bin/flumetest/case_avro.properties  
18/05/06 11:4