Flume跨服务器监控日志数据

需求​:对于web项目单独所部署的服务器,每天都会产生大量的nginx日志文件,我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析,最后做出​可视化。

架构分析​:

在这里插入图片描述

第一步​:数据采集

从图中可以看出,我们分别再web服务器和slave1上部署Flume,再web服务器上agent的Source来源于nginx日志,经过channel传输到Sink,Sink将数据输出到slave1,Agent的Source,最终将数据上传到hdfs上​。

第二步​:部署Flume

之前写过Flume入门教程 可关注微信公众号“暗物质魂”,回复“Flume”,可获取​相关资料和教程。

第三步:编写配置文件

再Flume安装目录下新建job文件夹,并进入该文件夹

web服务器 vim web1.conf

a1.sources=r1
a1.sinks=k1
a1.channels=c1
​
# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/log/bloglog/
a1.sources.r1.fileSuffix = .COMPLETED
a1.sources.r1.fileHeader = true
​
​
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=slave1
a1.sinks.k1.port=45454
​
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
​
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

slave1服务器 vim slave2.conf

a2.sources=r1
a2.sinks=k1
a2.channels=c1
​
a2.sources.r1.type=avro
a2.sources.r1.bind=slave1
a2.sources.r1.port=45454
​
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://master:8020/flume/upload/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = blogvue-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型,可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 33554432
#文件的滚动与 Event 数量无关
a2.sinks.k1.hdfs.rollCount = 0
​
a2.channels.c1.type=memory
a2.channels.c1.capacity=1000
a2.channels.c1.transactionCapacity=100
​
a2.sources.r1.channels=c1
a2.sinks.k1.channel=c1

启动flume先启动slave1的agent再启动wen服务器的agent

再Flume安装目录下slave1启动命令

bin/flume-ng agent -c conf/ -n a2 -f job/slave2.conf -Dflume.root.logger=INFO,console

web服务器启动命令

bin/flume-ng agent -c conf/ -n a1 -f job/web1.conf -Dflume.root.logger=INFO,console  web

注意​:两台服务器上必须配置好域名解析和免密登陆

​上传测试文件

#随便复制一个测试文件到Flume的监控目录下
cp t.txt ./bloglog/
查看HDFS上结果

在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炸鸡叔老白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值