角色
Agent
消息收集点,运行于消息产生源,分为三个角色:
- Adaptor,他从物理文件、sock、unixsock、标准输入等抽取原始消息,处理
- Filter,对不同的消息类型对消息进行不同的格式化,
- Agent,负责将消息传送出去出
Collector
采集点。汇集某类型消息,对某类型信息集中加工,比如将高频小写改适合HDFS低频大写,输出store。分为两个角色:
- collector,汇集消息
- filter,消息格式化
Store
存储,物理文件,HDFS,数据库,邮件系统,Sock, Prod等。这些跟我们的agent输入是有重叠了,因此在这里再加一个agent,转到下一轮的消息处理逻辑来,以这样级联的方式继续往下处理。
Broker
中介者,这里主要指的是是消息队列。有些agent和collector之间是直连,有些则是通过broker进行消息流动
Manager
中控系统,对消息流调度和节点伸缩控制