Storm
Regan_Hoo
这个作者很懒,什么都没留下…
展开
-
Storm_应用设计
理解Storm① storm中的spout、bolt都可以是并行的,它将逻辑上不相互依赖的同一层处理关系复制成多份同时执行,并且,多个执行间的相互协调由storm框架本身提供。② 对于前后依赖的层级间关系,storm提供的强关联性保证只有前面的处理顺利执行完毕,后面的逻辑才能得到执行。③ Storm的实时性一方面源于不对历史数据作过多关注,也正因此,storm作为数据处理框架不提供对历史数据的保存。原创 2017-11-27 11:14:16 · 350 阅读 · 0 评论 -
Storm_原理
Storm集群架构主节点:Nimbus(进程),分发代码、分配工作给从节点、监控从节点状态。 从节点:Supervisor(进程),监听分配到本机的工作、启动和关闭Worker进程。 Storm作业执行① 一个具体的Topology对应多个Worker进程(但一个Worker进程只能对应一个Topology),多个Worker进程分布在多个不同的节点,一个Worker可以启动多个Executor执原创 2017-11-27 11:39:18 · 358 阅读 · 0 评论