日志采集——架构分类

角色

Agent

消息收集点，运行于消息产生源，分为三个角色：

• Adaptor，他从物理文件、sock、unixsock、标准输入等抽取原始消息，处理
• Filter，对不同的消息类型对消息进行不同的格式化，
• Agent，负责将消息传送出去出

从进程模型上可能是三个进程或者一个进程有多个角色

Collector

采集点。汇集某类型消息，对某类型信息集中加工，比如将高频小写改适合HDFS低频大写，输出store。分为两个角色：

• collector，汇集消息
• filter，消息格式化

Store

存储，物理文件，HDFS，数据库，邮件系统，Sock, Prod等。这些跟我们的agent输入是有重叠了，因此在这里再加一个agent，转到下一轮的消息处理逻辑来，以这样级联的方式继续往下处理。

Broker

中介者，这里主要指的是是消息队列。有些agent和collector之间是直连，有些则是通过broker进行消息流动

Manager

中控系统，对消息流调度和节点伸缩控制