在flume有两类流程,一类是master,另一类是node,
master控制着所有的node节点。
master 可以察看到所有node信息,并且可以配置 数据在node之间的流程。
node 的主要作用是 event的数据流路径控制。 有三个主要处理内容,数据生产者, 数据流通管道,数据消费者。
master与node之间会通过心跳操作,做数据的同步,
一、node向master询问,我的config是否有改动了,如果有改动就重新做配置的操作。
二、node把当前的状态信息发送给master。
为了是模拟分布式flume的系统,就必须要开一个master和至少一个node。
接下来将要介绍的是,如何来实现这个系统的操作。 假设机器上已经安装成功flume了。
一、开启master
$ flume master
SUCCEEDED, FAILED, or PENDING
二、开启node
$ flume node_nowatch
node_nowatch 参数是为了能通过stdin 向node传输信息
判断node是否已经开启成功,也可向对master的验证一样,来访问http://localhost:35862/ 会显示当前node的诊断信息,指标数据信息,数据流路径,所在系统的各类指标信息。如果在同一台物理机上同时运行多个node,网页访问的端口号就会递增第二node的端口35863、第三个是 35864,以此类推。
Node name:host
Source:console
Sink:console