![](https://img-blog.csdnimg.cn/20190928165534656.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Storm
大马猴JAVA学习
这个作者很懒,什么都没留下…
展开
-
storm(六) 可靠性
集群可靠性 参考:http://storm.apache.org/releases/1.2.2/Daemon-Fault-Tolerance.html Worker可靠性 worker挂掉了,supervisor会重新启动worker。 如果在启动的过程中不断的失败,nimbus没有收到心跳,nimbus会将worker调度到其他supervisor上启动 部署superviso...转载 2018-12-28 16:31:41 · 152 阅读 · 0 评论 -
storm(五) 消息分组策略
消息分发策略决定了消息在spout和bolt间,bolt和bolt间如何进行传递。决定tuple传递给哪个bolt grouping http://storm.apache.org/releases/1.2.2/Concepts.html 流分组策略有内置的八种,同时还可以进行自定义。这里将介绍最常用的几种 流分组策略主要针对的是多个相同种类的bolt,哪个或那几个bolt实例接受消息 ...转载 2018-12-28 16:41:03 · 164 阅读 · 0 评论 -
storm(四) 并行度
概念 worker 一个实体机可以运行一个或者多个worker 一个worker只能运行一个topology上的部分或全部component 一个worker是一个独立的进程 在运行过程中可以调整worker的数量 executor 一个worker中可以运行多个executor 一个executor是一个线程 一个executor可以运行一个或者多个task,这些task必须是同...转载 2018-12-28 16:43:16 · 164 阅读 · 0 评论 -
storm(三) 编程关键类
Storm概念 storm的编程其实就是设计topology的过程,该过程中最主要的就是Spout、bolt还有grouping 关键类 创建topology 这个部分可以直接参考官网,使用TopologyBuilder类 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("createNum",new Nu...转载 2018-12-28 16:55:29 · 121 阅读 · 0 评论 -
storm(二) docker集群搭建
利用docker搭建storm集群 启动nimbus节点:docker run -d --restart always --name nimbus --link zookeeper:zookeeper storm storm nimbus --link zookeeper:zookeeper 使用zookeeper容器,将其别名为zookeeper 启动一个supervisor节点:d...转载 2018-12-28 16:57:36 · 442 阅读 · 0 评论 -
storm(一) 集群架构
storm关键概念 storm不用来处理静态数据,主要用来处理动态数据 一个topologies启动后是始终处于运行状态,除非手动关闭 storm 架构 Nimbus:管理节点,用于提交 Supervisor:从节点,接受来自于Nimbus节点的任务,管理Worker Worker:工作进程,具体执行业务的工作进程 Executor:工作线程,一个实际的物理线程 Spout /...转载 2018-12-28 16:58:40 · 268 阅读 · 0 评论