在分布式系统中,集群中的节点需要被实时监测,并在节点死掉或重新启动时做出相应的处理。
这是一个基于ping/echo机制的监测模块的实现:
模块分为两部分,monitor部分和monitored部分,其中monitor被放置在monitor节点上运行,monitored被放置在需要被监测的节点上。
monitor部分:
主体部分是monitor包,其中的Monitor、NodePoolManager、RegisterHandler、Reconnector均为线程。
NodePoolManager线程启动一个接受被监测节点注册的服务,它将一直循环,等待节点注册;
NodePoolManager在接受到注册请求后,将新开一个RegisterHandler线程处理注册;
Monitor线程将定期遍历已注册节点的列表,向它们发出ping请求,并根据反馈结果进行相应处理,如果节点失去联系,将发出警告,并新开一个Reconnector线程尝试重连。
data包中的node存储被监测节点的信息。
strategy包中的Deadstrategy是判定节点是否已死的策略类,隔离出易发生变动的判定策略,便于修改。
monitored部分:
主体部分是monitored包,其中EchoThread负责建立echo服务,循环等待monitor节点的ping请求,并返回echo表示节点运行正常。
这里采用了在被监测节点上建立ping/echo通信的服务端,原因是,在这种设计中,在被监测节点宕掉后,monitor节点可以尝试重新连接被监测节点,而被监测节点在重启成功后会在相同的端口重新开启ping/echo通信的服务,这样重连成功后monitor节点可以重新恢复对该节点的监测。
runner包中有两个Runner,其中MonitoredRunner用在第一次启动时,它将向monitor节点注册,然后建立ping/echo服务;而MonitoredReRunner用在宕机重启时,由于之前已经注册,它将直接建立ping/echo服务。
monitor代码:
monitor.Monitor
package monitor;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.IOException;
import java.net.Socket;
import java.util.Vector;
import monitor.data.Node;
import monitor.strategy.DeadStrategy;
/**
* 监视器,负责遍历已注册的节点,发出ping请求,并根据反馈结果判定节点是否存活
*
*/
public class Monitor extends Thread {
private int DEAD_TIMEOUT = 3000;//等待节点echo的最长时间
private int TRAVERSAL_INTERVAL = 3000;//遍历节点列表的时间间隔
private NodePoolManager poolManager;
private DeadStrategy strategy;
public Monitor(NodePoolManager poolManager, DeadStrategy strategy) {
this.poolManager = poolManager;
this.strategy = strategy;
}
public void run() {
Vector pool = poolManager.getPool();
while (true) {
System.out.println("Monitor开始新一次遍历node列表");
/*
* 遍历node列表
*/
for (int i = 0; i < pool.size(); i++) {
Node node = pool.get(i);
if (strategy.isDead(node))
continue;
else
node.resetTimeoutCount();
Socket socket = null;
try {
/*
* 从node中取出与被监测节点通信的socket
*/
socket = node.getSocket();
if (socket.isClosed()) {
node.setDead(true);
handleDeadNode(node);
alarm(node);
continue;
}
/*
* 设置timeout时长
*/
socket.setSoTimeout(DEAD_TIMEOUT);
DataInputStream input = new DataInputStream(
socket.getInputStream());
DataOutputStream output = new DataOutputStream(
socket.getOutputStream());
/*
* 向被监测节点发出ping请求
*/
output.writeUTF("ping");
output.flush();
System.out.println("Monitor发出ping");
/*
* 从被监测节点接收echo响应
*/
String echo = "";
try {
echo = input.readUTF();
} catch (Exception e) {
/*
* 超时
*/
node.increaseTimeoutCount();
if (strategy.isDead(node)) {
handleDeadNode(node);
alarm(node);
}
continue;
}
if (echo.equals("echo") == false) {
System.out.println("Not echo");
}
System.out.println("Monitor接受到echo");
} catch (Exception e) {
try {
if (socket != null)