storm使用(一)–入门及安装

storm使用(一)–入门及安装文章目录一、简介二、strom组成2.1 节点组成2.1.1 master节点2.1.2 worker结点2.2 组件组成2.2.1 tuple2.2.2 stream2.2.3 spout2.2.4 bolt2.3 应用组成2.3.1 topology2.3.2 stream grouping2.3.4 worker2.3.5 task2.3.6 executo...
摘要由CSDN通过智能技术生成

storm使用(一)–入门及安装

一、简介

storm是twitter开源的分布式实时计算系统,能够处理无界的数据流。这里对stom及安装进行介绍。

二、strom组成

2.1 节点组成

storm由master node(nimbus守护进程)和worker node(supervisor守护进程) 组成,master node和worker node间是通过zookeeper进行交互的。

2.1.1 master节点

master节点只能有一个,上面运行nimbus守护进程(类似hadoop的JobTracker),负责集群中代码分发、结点任务分配、监控等作用。

2.1.2 worker结点

worker节点可以有多个,运行着supervisor守护进程,监听主机已经分配的作业,启动和停止numbus分配的工作进程。

2.2 组件组成

storm从数据源读取数据,经过一系列单元处理,最终输出数据。其中经过流程及数据结构有:
tuple(元组)、stream(数据流)、spout(喷口)、bolt(螺栓)。

2.2.1 tuple

tuple是数据的载体,是最基本的单元,支持所有基本类型、字符串、字节数组或者实现序列化的对象。

2.2.2 stream

stream是无界的tuple序列

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值