Storm
青春烂笔头
大数据开发、java开发
展开
-
Storm入门教程
本教程是在学习Storm时候整理的笔记 1 Storm基础 1.1 storm介绍 1.2 Storm原理 1.3编程模型(一)原创 2018-10-24 11:40:51 · 223 阅读 · 0 评论 -
1 Storm介绍
1 storm介绍 storm是Twitter开源的分布式大数据处理框架,实时版Hadoop. Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 hadoop Map Reduce storm Spout Bolt storm应用场景 1)流数据处理:Storm处理源源不断的消息,结果保存到持久化介质中。 2)...原创 2018-10-24 11:44:08 · 199 阅读 · 0 评论 -
2 storm原理
介绍Storm基本原理 1 集群结构 Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群中 * Nimbus 主控节点,用于提交任务、分配集群任务,集群监控等 * zookeeper 集群中协调、共有数据的存放(如心跳信息、集群的状态和配置信息),Nimbus将分配给Superv...原创 2018-10-24 11:59:37 · 305 阅读 · 0 评论 -
3 编程模型
storm常用接口 目录 1 ISpout接口 2 IComponent接口 3 IBolt接口 1 ISpout接口 * 概述 核心接口,负责将数据发送到topology中去处理。 storm会跟踪Spout发出去的tuple的DAG * 核心方法 open: 初始化操作 close: 资源释放操作 nextTuple: 发送数据 ...原创 2018-10-24 13:15:02 · 126 阅读 · 0 评论