一、Syslog方式
Flume提供了Syslog的方式,通过TCP/UDP通信协议直接对某台主机上的某个端口进行监听,实现了采集端主动采集端口日志的功能,提高了可靠性。
Syslog可以通过Syslog协议读取系统日志,协议分为TCP和UDP两种,使用时需指定IP地址和端口。这里以监听本机的5140端口为例。
进入 Flume的conf目录,创建名称为 syslogtcp.conf的配置文件,
配置信息如下
# 组件命名
agent1.sources = r1
agent1.channels = c1
agent1.sinks = k1
# Source信息
agent1.sources.r1.type = syslogtcp
agent1.sources.r1.channels = c1
agent1.sources.r1.port = 5140
agent1.sources.r1.host = localhost
# Sink信息
agent1.sinks.k1.type = logger
# channel信息
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 10000
agent1.channels.c1.transactionCapacity = 100
# 将Source Sink 绑定到channel
agent1.sinks.k1.channel = c1
agent1.sources.r1.channel = c1
通过执行命令
/home/software/flume/apache-flume-1.9.0-bin/bin/flume-ng agent --conf-file