关闭

jstorm源码分析:work管理

1206人阅读 评论(0) 收藏 举报
分类:

管理work

前面已经知道了,通过SyncProcessEvent 可以从zookeeper上获取分配到一台机器的任务信息,那么有了这些信息,我们能干什么呢?接下来我们就来揭开SyncProcessEvent的面纱

主要成员

private LocalState localState; 本地状态,主要是本地所有的work状态信息,包括心跳检测信息等   

private Map

入口

整个入口还是在我们的run函数中:

public void run(Map<Integer, LocalAssignment> localAssignments, Set<String> downloadFailedTopologyIds ) 

第一个参数就是从zk上获取的分配到这台机器上的work信息

第二个是下载失败的拓扑任务

从文件中获取所有work的心跳信息

所有的work都会把自己的信息写到文件中,这样我们可以通过读取文件获取这些work的运行信息
“`

 public Map<String, StateHeartbeat> getLocalWorkerStats(Map conf, LocalState localState, Map<Integer, LocalAssignment> assignedTasks) throws Exception {

    Map<String, StateHeartbeat> workeridHbstate = new HashMap<String, StateHeartbeat>();

    int now = TimeUtils.current_time_secs();

    /**
     * Get Map<workerId, WorkerHeartbeat> from local_dir/worker/ids/heartbeat
     */
    //从本地文件中,获取所有本地的进程
    Map<String, WorkerHeartbeat> idToHeartbeat = readWorkerHeartbeats(conf);
    for (Entry<String, WorkerHeartbeat> entry : idToHeartbeat.entrySet()) {

        String workerid = entry.getKey().toString();

        WorkerHeartbeat whb = entry.getValue();

        State state = null;
        //如果是空的,那么就不是一个正常启动的work,我们就去看看是否正在启动,如果是,那么去验证是否zk上分配这个任务,如果否,直接从启动列表中删除
        if (whb == null) {
            state = State.notStarted;
            //获取work的启动时间和端口
            Pair<Integer, Integer> timeToPort = this.workerIdToStartTimeAndPort.get(workerid);
            //有进程的启动列表中
            if (timeToPort != null) {
                LocalAssignment localAssignment = assignedTasks.get(timeToPort.getSecond());
                //但是在zk中找不到任务的信息,那么就需要把从启动列表中删除
                if (localAssignment == null) {
                    LOG.info("Following worker don't exit assignment, so remove this port=" + timeToPort.getSecond());
                    state = State.disallowed;
                    // workerId is disallowed ,so remove it from workerIdToStartTimeAndPort
                    Integer port = this.workerIdToStartTimeAndPort.get(workerid).getSecond();
                    this.workerIdToStartTimeAndPort.remove(workerid);
                    this.portToWorkerId.remove(port);
                }
            }
        } else if (matchesAssignment(whb, assignedTasks) == false) {   //看headbeat和zk分配信息是否匹配

            // workerId isn't approved or
            // isn't assigned task
            state = State.disallowed;

        } else if ((now - whb.getTimeSecs()) > JStormUtils.parseInt(conf.get(Config.SUPERVISOR_WORKER_TIMEOUT_SECS))) {
            //上次汇报时间距离当前时间超过了配置时间,并且不是被杀掉的,那么就报告错误信息。 统一标注是超时
            if (killingWorkers.containsKey(workerid) == false) {
                String outTimeInfo = " it is likely to be out of memory, the worker is time out ";
                workerReportError.report(whb.getTopologyId(), whb.getPort(),
                        whb.getTaskIds(), outTimeInfo);
            }

            state = State.timedOut;
         } else {
            //进程是否死了,看/proc/workid目录是否存在
            if (isWorkerDead(workerid)) {
                //不在被杀掉列表中
                if (killingWorkers.containsKey(workerid) == false){
                    String workeDeadInfo = "Worker is dead ";
                    workerReportError.report(whb.getTopologyId(), whb.getPort(),
                            whb.getTaskIds(), workeDeadInfo);
                }
                state = State.timedOut;
            } else {
                state = State.valid;
            }
        }

        if (state != State.valid) {
            if (killingWorkers.containsKey(workerid) == false)
                LOG.info("Worker:" + workerid + " state:" + state + " WorkerHeartbeat:" + whb + " assignedTasks:" + assignedTasks
                        + " at supervisor time-secs " + now);
        } else {
            LOG.debug("Worker:" + workerid + " state:" + state + " WorkerHeartbeat: " + whb + " at supervisor time-secs " + now);
        }
        //更新headbeats
        workeridHbstate.put(workerid, new StateHeartbeat(state, whb));
    }

    return workeridHbstate;
}

“`
代码比较长,总结:
1 通过调用readWorkerHeartbeats 获取所有work心跳信息(读取文件获取的)
2 对每个work的心跳信息,分情况进行处理:
2.1 心跳信息是空的:那么如果在启动列表中,且不是分配到这个机器上的任务(zk信息中找不到),那么从启动列表中删除。 这种情况是work还在启动中,但是任务已经被停止了。
2.2 检测任务是否匹配: 看work的heatbeats中的任务id和zk上该work的任务id是否一样
2.3 当前work的heartbeat更新时间超过配置时间了:那是否在删除的列表中,如果不存在,报个错误。标示work状态为超时。
2.4 看进程是否死了,如果死了,那么标示超时,否则,就是正常的

3 就是把状态更新到heartbeat中。

删除无用的worker

对work各种 状态进行判断
1 如果在work正在启动列表中并且heatbeat状态是没有启动,直接跳过。
2 我们状态正常的,先记录下
3 对于非正常的。 首先放到待删除列表中,如果是正常关闭中,那么就记录个日志。

通过调用shutWorker关闭所有待删除的work.
如果带删除work都成功杀死了,那么就释放: 任务清空超时信息
清空已经删除的work的本地信息
最后返回所有正常的work,这个包含两个部分,一个是前面状态正常的,另外加上正在启动列表中,有心跳信息但是心跳状态是nostarted 的

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:276859次
    • 积分:4160
    • 等级:
    • 排名:第7693名
    • 原创:139篇
    • 转载:5篇
    • 译文:0篇
    • 评论:55条
    文章分类
    最新评论