flume监听tomcat日志，并上传到HDFS存储

flume监听tomcat日志，并上传到HDFS存储

目录

程序版本：

一、前提条件

二、配置Tomcat的日志输出

追加server.xml内容为：

三、配置Flume的Job选项

创建job目录

创建flume-hdfs.conf文件

文件内容为：

四 启动flume

 五 启动tomcat

六 访问tomcat

 七 查看HDFS是否生成 与配置文件对应的目录

---

程序版本：

CentOS-7

hadoop-3.1.3.tar.gz

apache-flume-1.8.0-bin.tar.gz

apache-tomcat-8.5.47.tar.gz

一、前提条件

Hadoop集群正常

flume和tomcat服务正常

二、配置Tomcat的日志输出

在Tomcat的server.xml,追加以下内容，目的是输出access log（默认是不输出）。
默认产生的log文件名称【localhost_access_log.2022-11-07.txt】

[root@node1 ~]# cd /export/servers/apache-tomcat-8.5.47/conf/

[root@node1 conf]# vim server.xml

追加server.xml内容为：

 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log" suffix=".txt"
               pattern="combined" resolveHosts="false"/>

三、配置Flume的Job选项

创建job目录

[root@node1 conf]# cd /export/servers/flume/
[root@node1 flume]# mkdir job

创建flume-hdfs.conf文件

[root@node1 flume]# cd job
[root@node1 job]# vim flume-hdfs.conf

文件内容为：

#me the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /export/servers/apache-tomcat-8.5.47/logs/localhost_access_log.2022-11-07.txt
a2.sources.r2.shell = /bin/bash -c

# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path =/flume/tomcatout/%y-%m-%d/%H%M/
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.rollCount = 0
#最小冗余数
a2.sinks.k2.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

需注意红框位置是，要监听的tomcat的日志文件

文件名路径
[root@node1 ~]# cd /export/servers/apache-tomcat-8.5.47/logs/
[root@node1 logs]# ll

四 启动flume

[root@node1 flume]# bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-hdfs.conf -Dflume.root.logger=INFO,console

 

 五 启动tomcat

[root@node1 ~]# cd /export/servers/apache-tomcat-8.5.47/bin
[root@node1 bin]# ll
[root@node1 bin]# ./startup.sh

六 访问tomcat

在Windows浏览器输入自己的IP地址访问，在里面随便点几个超链接

 七 查看HDFS是否生成 与配置文件对应的目录

刚开始会是一个tmp结尾的缓存文件，稍等一会后会生成正常文件