管理work
前面已经知道了,通过SyncProcessEvent 可以从zookeeper上获取分配到一台机器的任务信息,那么有了这些信息,我们能干什么呢?接下来我们就来揭开SyncProcessEvent的面纱
主要成员
private LocalState localState; 本地状态,主要是本地所有的work状态信息,包括心跳检测信息等
private Map
入口
整个入口还是在我们的run函数中:
public void run(Map<Integer, LocalAssignment> localAssignments, Set<String> downloadFailedTopologyIds )
第一个参数就是从zk上获取的分配到这台机器上的work信息
第二个是下载失败的拓扑任务
从文件中获取所有work的心跳信息
所有的work都会把自己的信息写到文件中,这样我们可以通过读取文件获取这些work的运行信息
“`
public Map<String, StateHeartbeat> getLocalWorkerStats(Map conf, LocalState localState, Map<Integer, LocalAssignment> assignedTasks) throws Exception {
Map<String, StateHeartbeat> workeridHbstate = new HashMap<String, StateHeartbeat>();
int now = TimeUtils.current_time_secs();
/**
* Get Map<workerId, WorkerHeartbeat> from local_dir/worker/ids/heartbeat
*/
//从本地文件中,获取所有本地的进程
Map<String, WorkerHeartbeat> idToHeartbeat = readWorkerHeartbeats(conf);
for (Entry<String, WorkerHeartbeat> entry : idToHeartbeat.entrySet()) {
String workerid = entry.getKey().toString();
WorkerHeartbeat whb = entry.getValue();
State state = null;
//如果是空的,那么就不是一个正常启动的work,我们就去看看是否正在启动,如果是,那么去验证是否zk上分配这个任务,如果否,直接从启动列表中删除
if (whb == null) {
state = State.notStarted;
//获取work的启动时间和端口
Pair<Integer, Integer> timeToPort = this.workerIdToStartTimeAndPort.get(workerid);
//有进程的启动列表中
if (timeToPort != null) {
LocalAssignment localAssignment = assignedTasks.get(timeToPort.getSecond());
//但是在zk中找不到任务的信息,那么就需要把从启动列表中删除
if (localAssignment == null) {
LOG.info("Following worker don't exit assignment, so remove this port=" + timeToPort.getSecond());
state = State.disallowed;
// workerId is disallowed ,so remove it from workerIdToStartTimeAndPort
Integer port = this.workerIdToStartTimeAndPort.get(workerid).getSecond();
this.workerIdToStartTimeAndPort.remove(workerid);
this.portToWorkerId.remove(port);
}
}
} else if (matchesAssignment(whb, assignedTasks) == false) { //看headbeat和zk分配信息是否匹配
// workerId isn't approved or
// isn't assigned task
state = State.disallowed;
} else if ((now - whb.getTimeSecs()) > JStormUtils.parseInt(conf.get(Config.SUPERVISOR_WORKER_TIMEOUT_SECS))) {
//上次汇报时间距离当前时间超过了配置时间,并且不是被杀掉的,那么就报告错误信息。 统一标注是超时
if (killingWorkers.containsKey(workerid) == false) {
String outTimeInfo = " it is likely to be out of memory, the worker is time out ";
workerReportError.report(whb.getTopologyId(), whb.getPort(),
whb.getTaskIds(), outTimeInfo);
}
state = State.timedOut;
} else {
//进程是否死了,看/proc/workid目录是否存在
if (isWorkerDead(workerid)) {
//不在被杀掉列表中
if (killingWorkers.containsKey(workerid) == false){
String workeDeadInfo = "Worker is dead ";
workerReportError.report(whb.getTopologyId(), whb.getPort(),
whb.getTaskIds(), workeDeadInfo);
}
state = State.timedOut;
} else {
state = State.valid;
}
}
if (state != State.valid) {
if (killingWorkers.containsKey(workerid) == false)
LOG.info("Worker:" + workerid + " state:" + state + " WorkerHeartbeat:" + whb + " assignedTasks:" + assignedTasks
+ " at supervisor time-secs " + now);
} else {
LOG.debug("Worker:" + workerid + " state:" + state + " WorkerHeartbeat: " + whb + " at supervisor time-secs " + now);
}
//更新headbeats
workeridHbstate.put(workerid, new StateHeartbeat(state, whb));
}
return workeridHbstate;
}
“`
代码比较长,总结:
1 通过调用readWorkerHeartbeats 获取所有work心跳信息(读取文件获取的)
2 对每个work的心跳信息,分情况进行处理:
2.1 心跳信息是空的:那么如果在启动列表中,且不是分配到这个机器上的任务(zk信息中找不到),那么从启动列表中删除。 这种情况是work还在启动中,但是任务已经被停止了。
2.2 检测任务是否匹配: 看work的heatbeats中的任务id和zk上该work的任务id是否一样
2.3 当前work的heartbeat更新时间超过配置时间了:那是否在删除的列表中,如果不存在,报个错误。标示work状态为超时。
2.4 看进程是否死了,如果死了,那么标示超时,否则,就是正常的
3 就是把状态更新到heartbeat中。
删除无用的worker
对work各种 状态进行判断
1 如果在work正在启动列表中并且heatbeat状态是没有启动,直接跳过。
2 我们状态正常的,先记录下
3 对于非正常的。 首先放到待删除列表中,如果是正常关闭中,那么就记录个日志。
通过调用shutWorker关闭所有待删除的work.
如果带删除work都成功杀死了,那么就释放: 任务清空超时信息
清空已经删除的work的本地信息
最后返回所有正常的work,这个包含两个部分,一个是前面状态正常的,另外加上正在启动列表中,有心跳信息但是心跳状态是nostarted 的