storm
ZhaoYingChao88
学而不思则罔,思而不学则殆!
展开
-
Storm详解
1、Storm并行度相关的概念Storm集群有很多节点,按照类型分为nimbus(主节点)、supervisor(从节点),在conf/storm.yaml中配置了一个supervisor,有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker(一个节点,运行一个worker),在每个worker里面可以运行多个线程叫做executor,在exec原创 2017-11-12 13:57:33 · 1224 阅读 · 0 评论 -
storm详解与调优
Storm 性能优化 原文地址:http://www.jianshu.com/p/f645eb7944b0目录场景假设调优步骤和方法Storm 的部分特性Storm 并行度Storm 消息机制Storm UI 解析性能优化场景假设在介绍 Storm 的性能调优方法之前,假设一个场景:项目组部署了3台机器,计划运行且仅运行 Storm(1.0.1) + K原创 2017-11-12 14:32:34 · 1998 阅读 · 0 评论 -
Storm On YARN
Storm On YARN带来的好处相比于将Storm部署到一个独立的集群中,Storm On YARN带来的好处很多,主要有以下几个:弹性计算资源: 将Storm运行到YARN上后,Storm可与其他应用程序(比如MapReduce批处理应用程序)共享整个集群中的资源,这样,当Storm负载骤增时,可动态为它增加计算资源,而当负载减小时,可释放部分资源,从而将这些资源暂时分配给负载更重的批处理应...原创 2018-03-22 20:10:19 · 2497 阅读 · 0 评论 -
Storm 调度器介绍
简介Storm有4个调度器(defaultScheduler/IsolationScheduler/MultitenantScheduler/RAS),Jstorm只有一个调度器,但是其拥有4种模式(defaultScheduler/IsolationScheduler/User-defined Scheduler/The last Scheduler),JStorm的调度模式需要在用Config...原创 2018-03-23 09:19:43 · 1936 阅读 · 0 评论 -
strom基础概念
一、Storm topology提交到集群分析 storm目前1.x版本支持nimbus的高可用(其实也可以不需要高可用,因为nimbus是无状态的,只要运行的topology没有故障且没有新的任务需要提交到storm集群,那么也可以不要nimbus,因为是worker在运行任务,nimbus只是负责任务分配,资源调度且和supervisor保持心跳我们可以做好整个集群的监控即可,当nimb...原创 2018-03-23 09:28:41 · 550 阅读 · 0 评论