Flume安装配置-监听测试【简单明了】

前言:
        在当今数据驱动的时代，实时数据处理和分析变得至关重要。Apache Flume作为一个高度可靠、可扩展的分布式系统，专为收集、聚合和移动大量日志数据而设计，已经成为大数据处理领域的重要工具之一。无论是监控日志、事件数据还是其他类型的实时数据流，Flume都能够提供高效的数据收集和传输解决方案。让我们一起踏上这段探索之旅，深入了解Apache Flume的强大世界吧！

1.打开虚拟机查看IP地址

ifconfig

2.使用远程工具连接虚拟机(方便后续操作,没有连接工具的跳过不影响)

3.上传flume和jdk的压缩包到虚拟机的/opt目录下,并进行解压

#解压命令
tar -zxvf 压缩包

4.配置flume和jdk的环境变量(系统环境变量)

注: 配置成功后记得,source /etc/profile刷新一下环境变量

#命令
vim /etc/profile/

5.配置flume的核心文件flume-env.sh

5.1 首先进入到flume下的conf目录下(如果没有找到flume-env.sh文件的话,直接用和它很像的文件进行复制一份并命名为flume-env.sh)

5.2 编辑核心文件进行配置

#命令
vim flume-env.sh

6.检查环境变量是否配置成功

#Jdk环境
Java -version

#flume环境
flume-ng version

7.安装netcat网络工具

#命令
sudo yum install -y nc

8.测试netcat网络工具

8.1 使用远程连接虚拟机的工具监听44444端口(可以监听其它端口)

#命令
nc -lk 44444

8.2 在虚拟机中使用主机向监听的端口发送信息

#命令
nc localhost 44444

9.在flume的安装目录下新建一个jobs目录

10.在jobs目录下新建一个Flume Agent的配置文件(这个配置文件名字自己随便取,但必须是.conf结尾)

11.编辑创建好的Flume Agent文件

12.开启Flume Agent监听

#命令
flume-ng agent -c conf/ -n tl -f jobs/netcat-flume-logger.conf -Dflume.root.logger=INFO,console

13.在虚拟机中向监听端口发送信息

14.Flume Agent监听到信息

到此,并完成了Flume的简单安装配置!