本文详细介绍了使用Flume进行实时数据采集的实战案例，包括从网络端口接收telent数据和监控目录并将新文件传输到HDFS。首先，展示了配置source（netcat）和sink（logger）的步骤，以及使用内存channel的方式。接着，讲解了如何配置source（spooldir）监控特定目录，并将新文件内容发送到HDFS，强调了不能重复丢入同名文件的注意事项。最后，提到了启动Flume agent和验证数据传输的方法。
1.2.1 Flume接受telent数据
案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据
第一步：开发配置文件
根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)
配置我们的网络收集的配置文件
在flume的conf目录下新建一个配置文件（采集方案）
vim /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf、
定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.52.120
a1.sources.r1.port = 44444
描述和配置sink组件：k1
a1.sinks.k1.type = logger
描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.c
最低0.47元/天 解锁文章
940
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
