Fume安装配置 在flume的conf下新建netcat-logger.conf

从网络端口接收数据,下沉到logger



采集配置文件,netcat-logger.conf



# example.conf: A single-node Flume configuration

# Name the components on this agent
#给那三个组件取个名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#类型, 从网络端口接收数据,在本机启动, 所以localhost, type=spoolDir采集目录源,目录里有就采
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#下沉的时候是一批一批的, 下沉的时候是一个个eventChannel参数解释:
#capacity:默认该通道中最大的可以存储的event数量
#trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令:
#告诉flum启动一个agent,指定配置参数, --name:agent的名字,
$ bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

传入数据:
$ telnet localhost 44444
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
Hello world! <ENTER>  
OK
您可以在 master 节点上执行以下命令来启动 Flume 监控 /home/ec2-user/flume 文件夹并将文件同步到 HDFS 的 /flume/ 路径下: 1. 确保您已经安装Flume配置好了 Hadoop 和 HDFS。 2. 创建一个 Flume 配置文件,比如命名为 flume.conf ,并将以下内容复制到文件中: ``` # flume.conf # 定义 Flume agent agent.sources = dirSource agent.channels = memoryChannel agent.sinks = hdfsSink # 配置源(Source) agent.sources.dirSource.type = spooldir agent.sources.dirSource.spoolDir = /home/ec2-user/flume/ # 配置通道(Channel) agent.channels.memoryChannel.type = memory # 配置汇(Sink) agent.sinks.hdfsSink.type = hdfs agent.sinks.hdfsSink.hdfs.path = hdfs://<HDFS-NN-IP>:<HDFS-NN-PORT>/flume/ agent.sinks.hdfsSink.hdfs.filePrefix = %{basename} agent.sinks.hdfsSink.hdfs.fileSuffix = .txt agent.sinks.hdfsSink.hdfs.fileType = DataStream # 将源与通道和汇进行绑定 agent.sources.dirSource.channels = memoryChannel agent.sinks.hdfsSink.channel = memoryChannel ``` 注意:请将 `<HDFS-NN-IP>` 和 `<HDFS-NN-PORT>` 替换为您的 HDFS NameNode 的 IP 地址和端口号。 3. 保存并退出配置文件。 4. 使用以下命令启动 Flume: ``` flume-ng agent -n agent -c conf -f flume.conf -Dflume.root.logger=INFO,console ``` 现在,Flume 将监控 /home/ec2-user/flume 文件夹,并将传入的文件自动同步到 HDFS 的 /flume/ 路径下。您可以根据需要修改配置文件中的参数来满足您的需求。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值