Storm中Topology的状态

41 篇文章 0 订阅
27 篇文章 0 订阅

Twitter Storm中Topology的状态

状态转换如下,Topology 的持久化状态包括: active, inactive, killed, rebalancing 四个状态。

代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。

Java代码   收藏代码
  1. (defn state-transitions [nimbus storm-id status]  
  2.   {:active {:monitor (reassign-transition nimbus storm-id)  
  3.             :inactivate :inactive              
  4.             :activate nil  
  5.             :rebalance (rebalance-transition nimbus storm-id status)  
  6.             :kill (kill-transition nimbus storm-id)  
  7.             }  
  8.    :inactive {:monitor (reassign-transition nimbus storm-id)  
  9.               :activate :active  
  10.               :inactivate nil  
  11.               :rebalance (rebalance-transition nimbus storm-id status)  
  12.               :kill (kill-transition nimbus storm-id)  
  13.               }  
  14.    :killed {:startup (fn [] (delay-event nimbus  
  15.                                          storm-id  
  16.                                          (:kill-time-secs status)  
  17.                                          :remove))  
  18.             :kill (kill-transition nimbus storm-id)  
  19.             :remove (fn []  
  20.                       (log-message "Killing topology: " storm-id)  
  21.                       (.remove-storm! (:storm-cluster-state nimbus)  
  22.                                       storm-id)  
  23.                       nil)  
  24.             }  
  25.    :rebalancing {:startup (fn [] (delay-event nimbus  
  26.                                               storm-id  
  27.                                               (:delay-secs status)  
  28.                                               :do-rebalance))  
  29.                  :kill (kill-transition nimbus storm-id)  
  30.                  :do-rebalance (fn []  
  31.                                  (do-rebalance nimbus storm-id status)  
  32.                                  (:old-status status))  
  33.                  }})  

      1. active

 

active 状态的时候可以转换成 monitor, inactivate, activate, rebalance, kill 。

(1) monitor: 转换成 monitor 实际上是执行了 reassign-transition 操作:

Java代码   收藏代码
  1. (defn reassign-transition [nimbus storm-id]  
  2.   (fn []  
  3.     (reassign-topology nimbus storm-id)  
  4.     nil  
  5.     ))  

 

可以看出,实际上是为这个 topology 重新分配任务,返回值为 nil , 说明在 zk 中不会更改 topology 的持久化状态。

(2)inactivate: 返回值是 inactive, 状态转换的时候会将 zk 中 topology 的状态转换成 inactive 。

(3)activate: nil 说明什么操作都不做

(4)rebalance: 实际上是调用了 rebalance-transition 函数,从代码可以看出,会将状态改成 rebalancing, 然后再转换成 do-rebalance 。 do-rebalance 其实也是重新分配任务,具体看4 。

Java代码   收藏代码
  1. (defn rebalance-transition [nimbus storm-id status]  
  2.   (fn [time num-workers executor-overrides]  
  3.     (let [delay (if time  
  4.                   time  
  5.                   (get (read-storm-conf (:conf nimbus) storm-id)  
  6.                        TOPOLOGY-MESSAGE-TIMEOUT-SECS))]  
  7.       (delay-event nimbus  
  8.                    storm-id  
  9.                    delay  
  10.                    :do-rebalance)  
  11.       {:type :rebalancing  
  12.        :delay-secs delay  
  13.        :old-status status  
  14.        :num-workers num-workers  
  15.        :executor-overrides executor-overrides  
  16.        })))  

 (5)kill: 实际上执行的是 kill-transition 方法,将 topology 的状态先改为 killed, 然后经过 kill-time 的时间,将topology remove, 详见3 

Java代码   收藏代码
  1. (defn kill-transition [nimbus storm-id]  
  2.   (fn [kill-time]  
  3.     (let [delay (if kill-time  
  4.                   kill-time  
  5.                   (get (read-storm-conf (:conf nimbus) storm-id)  
  6.                        TOPOLOGY-MESSAGE-TIMEOUT-SECS))]  
  7.       (delay-event nimbus  
  8.                    storm-id  
  9.                    delay  
  10.                    :remove)  
  11.       {:type :killed  
  12.        :kill-time-secs delay})  
  13.     ))  

  

2. inactvie

(1) monitor: 与1中相同

(2) activate: 返回值是 active, 状态转换的时候会将 zk 中 topology 的状态转换成 active 。

(3) inactivate: nil 说明什么操作都不做

(4) rebalance: 与1中相同

 

3. killed

(1) startup:将状态转换成remove

(2) kill:  与1中相同

(3) remove:   实际上是调用了 remove-storm!函数, 清楚topology在zk上的相关目录。

Java代码   收藏代码
  1. (remove-storm! [this storm-id]  
  2.   (delete-node cluster-state (storm-task-root storm-id))  
  3.   (delete-node cluster-state (assignment-path storm-id))  
  4.   (remove-storm-base! this storm-id))  

 
 4. rebalancing

 

(1) startup:将状态转换成do-rebalance

(2) kill:  与1中相同

(3) do-rebalance:  实际上是重新将任务分配,与初始分配任务不同,它假设所有的任务都是活跃的,所有的端口都不要判断是否需要保留,也就是说所有的任务重新分配,无论某些端口上的任务分配已经满足均衡要求。


原文 :

Twitter Storm中Topology的状态

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值