大数据框架Flume的基本使用

Flume配置编写与Telnet测试

最新推荐文章于 2024-03-13 22:55:20 发布

原创

最新推荐文章于 2024-03-13 22:55:20 发布 · 774 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#linux #大数据 #flume #telnet

本文介绍了Flume的操作，包括5步编写Agent配置文件，目的是监听端口数据进入。还通过Telnet服务对Flume进行测试，涵盖telnet的安装、服务启动以及Flume的启动，最后发送信息验证Flume接收情况，完成基本测试。

文章目录

前言
一、5步编写Agent配置文件
二、通过Telnet服务进行测试
总结

前言

提示：在前一篇文章中我们已经介绍了文件收集工具Flume的简介与安装，接下来我们一起学习如何操作Flume。

一、5步编写Agent配置文件

通过上一篇文章我们知道Flume是靠Agent来可靠处理日志数据，那么针对每一个任务，我们首先就要知道如何进行Agent的配置，本文不做过多深入介绍，但详细内容希望大家学会阅读官方文档http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
里面的内容更为详实准确。
接下来我们开始创建一个Agent的配置，我们的目的是让它去监听44444端口的数据进入。一般情况下，我们在Flume目录下的conf中创建一个文件，例如a1.conf，然后写入配置的过程我总结为简单的5步：

#a1: agent名称 
#r1: source的名称
#k1: sink的名称
#c1: channel的名称
 
# 第一步：为组件写一个名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 第二步：设置source的配置
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
 
# 第三步：设置sink的配置
a1.sinks.k1.type = logger
 
# 第四步：设置channel的配置
a1.c