日志采集——架构分类

角色

Agent

消息收集点,运行于消息产生源,分为三个角色:

  • Adaptor,他从物理文件、sock、unixsock、标准输入等抽取原始消息,处理
  • Filter,对不同的消息类型对消息进行不同的格式化,
  • Agent,负责将消息传送出去出
从进程模型上可能是三个进程或者一个进程有多个角色

Collector

采集点。汇集某类型消息,对某类型信息集中加工,比如将高频小写改适合HDFS低频大写,输出store。分为两个角色:
  • collector,汇集消息
  • filter,消息格式化

Store

存储,物理文件,HDFS,数据库,邮件系统,Sock, Prod等。这些跟我们的agent输入是有重叠了,因此在这里再加一个agent,转到下一轮的消息处理逻辑来,以这样级联的方式继续往下处理。

Broker

中介者,这里主要指的是是消息队列。有些agent和collector之间是直连,有些则是通过broker进行消息流动

Manager

中控系统,对消息流调度和节点伸缩控制
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值