jstorm源码分析: zookeeper

作用

zookeeper在整个系统中主要用户各个角色信息传递的中介，所以里面存了不少的信息

信息

我们只要打开zookeeper目录，可以看到很多的信息，下面一一介绍

supervisors

这里存放了集群中所有的supervisor的信息， 具体保存时候按照supervisor_id为目录名保存，具体的信息使用SupervisorInfo类进行保存，如下

   private static final long serialVersionUID = -8384417078907518922L;

    private final String hostName;                //机器的名称
    private final String supervisorId;           //唯一的id,通过随机数生成，格式： xxxxxxxx_xxxx_xxxx_xxxx_xxxxxxxxxxxx

    private Integer timeSecs;                     //上次心跳检测的时间
    private Integer uptimeSecs;                  //上次心跳检测离superviosr启动的时间

    private Set<Integer> workerPorts;            //work的端口

    private transient Set<Integer> availableWorkerPorts;   //空闲的work

nimbus_master和nimbus_slavel

这里保存了nimbus的信息，一个是主，一个是备的，具体的信息如下

assignment

当我们把一个storm的任务提交给nimbus后，他就会负责给这个任务相关的资源、work以及task分配，这些信息都保存在这里，具体的Assignment这个类来实现的

    //代码、配置和jar所在的路径  nimbus/stormdist]/topology_id/
    private final String masterCodeDir;
    /**
     * @@@ nodeHost store <supervisorId, hostname>, this will waste some zk storage
     */
    //机器信息 <supervisorId, hostname>关系
    private final Map<String, String> nodeHost;
    // task启动的时间 <taskId, startTime>
    private final Map<Integer, Integer> taskStartTimeSecs;
    // 所有分配的work
    private final Set<ResourceWorkerSlot> workers;
    // 任务的更新时间
    private long timeStamp;
    //任务的类型： 新建，更新，重新平衡，
    private AssignmentType type;

topology

这里存放的是我们提交的任务信息,对应的StormBase这个类。我们的nimbus启动时候，其中有个TopologyAssign成员，它主要负责接受提交的任务，现在任务写到zookeeper的目录下去

  private static final long serialVersionUID = -3013095336395395213L;
    private String stormName;       //任务的名称
    private int lanchTimeSecs;      //任务提交时间
    private StormStatus status;     //任务状态    active("active"), inactive("inactive"), rebalancing("rebalancing"), killed("killed"),
    private boolean enableMonitor = true;  //是否开启监控
    private String group;           //这个是干什么用的？

tasks

这里存放当前集群上所有的task信息，按照 topology_name/task_id目录进行存储，具体的信息如下：

    private String componentId;         //task所运行的组件的id
    private String componentType;       //组件类型： bolt, spout,

taskbeats

task的心跳信息

struct TaskHeartbeat {
    1: required i32 time;
    2: required i32 uptime;
}

struct TopologyTaskHbInfo {
    1: required string topologyId;
    2: required i32 topologyMasterId;
    3: optional map<i32, TaskHeartbeat> taskHbs;
}

每个task有个启动时间，有个更新时间

taskerrors

这里存放了所有task的错误信息，按照topology_id/task_id/time_stamp/error_info这样保存的，每个任务保留最新的几个错误，老的不保存，另外在一个 topology下，还有个last_error这个保存最新的错误，提交效率。 具体错误信息就是一个String对象，这里就不介绍啦。