Storm架构:
类似于Hadoop的架构,主从(Master/Slave)
Nimbus:主
集群的主节点,负责任务(task)的指派和分发,资源的分配。
Supervisor: 从
可以启动多个Worker,具体几个呢?可以通过配置来指定一个Topo可以运行在多个Worker之上,也可以通过配置来指定集群的从节点,(负责干活的),负责执行任务的具体部分启动和停止自己管理的Worker进程无状态,在他们上面的信息(元数据)会存储在ZK中。
Worker: 运行具体组件逻辑(Spout/Bolt)的进程。
task:
Spout和Bolt
Worker中每一个Spout和Bolt的线程为一个Task.
executor: spout和bolt可能会共享一个线程。
Java大数据实战 Storm构建实时流处理之Storm的架构与部署
最新推荐文章于 2024-05-17 08:59:25 发布