flume 伪分布式配置设置方法

在flume有两类流程,一类是master,另一类是node,

master控制着所有的node节点。

master 可以察看到所有node信息,并且可以配置 数据在node之间的流程。

node 的主要作用是 event的数据流路径控制。 有三个主要处理内容,数据生产者, 数据流通管道,数据消费者。

master与node之间会通过心跳操作,做数据的同步,

一、node向master询问,我的config是否有改动了,如果有改动就重新做配置的操作。

二、node把当前的状态信息发送给master。

为了是模拟分布式flume的系统,就必须要开一个master和至少一个node。

接下来将要介绍的是,如何来实现这个系统的操作。 假设机器上已经安装成功flume了。

一、开启master

$ flume master

SUCCEEDED, FAILED, or PENDING

二、开启node

$ flume node_nowatch

node_nowatch 参数是为了能通过stdin 向node传输信息

判断node是否已经开启成功,也可向对master的验证一样,来访问http://localhost:35862/ 会显示当前node的诊断信息,指标数据信息,数据流路径,所在系统的各类指标信息。如果在同一台物理机上同时运行多个node,网页访问的端口号就会递增第二node的端口35863、第三个是 35864,以此类推。

Node name:hostSource:consoleSink:console

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值