吊打面试官之flume架构与运行机制

1.Flume的三层架构

Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。

1）Agent层：这一层包含了Flume的Agent组件，与需要传输数据的数据源连接在一起
2）Collector：这一层通过多个收集器收集Agent层的数据，然后将这些转发到下一层
3）storage：这一层接收collector层的数据并存储起来

2.flume运行机制

1.Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
2.每一个agent相当于一个数据传递员，内部有三个组件：
a . Source：采集源，用于跟数据源对接，以获取数据
b. Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据者往最终存储系统传递数据
c. Channel：angent内部的数据传输通道，用于从source将数据传递到sink

3.flume的事务

事务点这里