Storm
showmyheart
这个作者很懒,什么都没留下…
展开
-
Storm On YARN带来的好处
1)弹性计算资源 将storm运行在yarn上后,Storm可以与其他计算框架(如mapreduce)共享整个集群的资源,这样当Storm负载骤增时,可动态为它增加计算资源。负载减小时,可以释放资源。2)共享底层存储 运行在yarn上的Storm可以与其他计算框架共享HDFS存储,避免多个集群带来的维护成本,同时避免了数据跨集群复制带来的网络开销。3)支原创 2014-06-16 10:23:50 · 1489 阅读 · 0 评论 -
Storm与MRv1类比--Storm初步印象
MRv1StormJobTrackerNimbusTaskTrackerSupervisorChildWorkerJobTopologyMap/ReduceSpout/BlotshuffleStream grouping原创 2014-06-16 10:25:10 · 796 阅读 · 0 评论 -
Strom简介
Nimbus: 负责资源分配和任务调度,把任务相关的元信息写入Zookeeper相应目录中。Supervlsor: 负责接收Nimbus分配的任务,启动和停止属于自己管理的worker进程。Worker: 运行具体处理组件逻辑的线程。Executor: 运行Splout/bolt的线程。Task: worker中每一个spout/bolt的线程称为一个task.Topolo原创 2015-05-22 11:09:36 · 1020 阅读 · 0 评论