flume中使用NetCat Source与File Channel进行日志管理(图文结合)

       Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

       具体的理论这里不说了,网上非常多,以下介绍一个详细案例,便于初学者入门。

一、首先创建一个 .conf 文件

       打开虚拟机以后,使用Xshell与Xftp与虚拟机IP连接(语句我们写在Xshell中,在Xftp中进行文件管理),在Xftp中进入我们解压好的flume-1.8.0文件夹,进入里面的conf文件夹(这里可以创建 .conf 文件),创建 file-channel_source.conf 如下图所示:

二、编辑 file-channel_source.conf 配置文件

      我们对 file-channel_source.conf 文件进行编辑,在里面写入以下语句:

#agent取一个名字: 一个配置文件中可以配置多个agent【建议一个文件就配置一个】
#配置一个agent,agent的名称可以自定义(如a1)
#指定agent的sources(如s1)、sinks(如k1)、channels(如c1)
#分别指定agent的sources,sinks,channels的名称 名称可以自定义
a1.sources = s1
a1.sinks = k1
a1.channels = c1

#配置source
#agent名称 .sources.source 的名字.属性=值
#一个NetCat Source用来监听一个指定端口,并将接受到的数据的每一行转换为一个事件
a1.sources.s1.type = netcat
a1.sources.s1.bind = localhost
a1.sources.s1.port = 44445

#配置sinks
#agent的名字 .sinks.sink 的名字 .属性=值
a1.sinks.k1.type = logger

#关于channel的配置
#agent的名字 .channel.channel 的名字 .属性=值
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/jjf/flume-1.8.0/file-channel/checkpointDir
a1.channels.c1.dataDirs = /home/jjf/flume-1.8.0/file-channel/data

#为sources和sinks绑定channels   进行关联
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

       相关语句解释看注释,其中要定义好客户端连接时使用的端口号与日志保存的路径,这案例使用本机的44445端口。然后我们再按照写得路径创建相应的文件夹,如下:

三、接下去我们打开配置

       在Xshell的窗口中输入     flume-hg agent --conf /home/jjf/flume-1.8.0/conf --conf-file /home/jjf/flume-1.8.0/conf/file-channel_source.conf --name a1 -Dflume.root.logger=INFO,console   打开这个配置文件。

       配置成功后我们可以看到以下结果:(出现选中的情况说明 44445 端口开启成功)

四、连接44445端口,发送数据

      我们再Xshell中重新打开一个窗体,在里面输入 telnet localhost 44445 连接44445这个在conf中配置的端口,连接成功后再输入要发送的数据,回车:

       这里我发送了一个 “hello” ,下面出现OK说明传输成功。

五、查看测试结果       

       然后我们可以到配置文件的窗口上看结果:

     最上面一行就是接收到的数据,说明连接成功。然后我们可以查看 .conf 文件中配置存放日志的地址。

       可以看到原来空白文件夹下面多出来很多文件,说明我们测试成功。主要流程就这样,一般我们使用flume后再使用kafka一起进行文件传输,这个以后再讲。

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青山孤客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值