Java Cancer 实现心跳机制的数据同步框架

背景介绍

项目上需要用到一个类似与zookeeper的心跳加节点数据同步的功能，但由于项目上不使用zookeeper，便决定自己实现一套，以便以后有类似需求可以直接使用。
这是一个可以处理节点间心跳和基于心跳进行数据同步的框架,此框架重在心跳实现，如果要实现数据同步需要人工处理，下面会说明如何基于此框架实现数据同步。

数据流转图

• msgQueue: 预同步数据队列
• receiveQueue: 已同步数据队列
• ackMap: 消息确认机制

结构介绍

• tonatyw.heart.cancer

  • base 实现协议需要继承的抽象类包，目前只实现了udp协议
    AbstractAgreement 协议抽象类

  • constants 常量类包
    Constants 常量类，存储一些文件路径和共用的字符串

  • handle 接收参数时的处理包

    • base 消息处理基类包
      BaseHandle 消息处理基类

    AckHandle 在发送方接收到接收方返回的回执消息时调用
ReceiveHandle 在接收方接收到发送方发送的消息时调用

  • thread 线程包
    Receive 接收线程
Send 发送线程
StatusThread 节点状态更新线程

  • util 工具包
    HeartBox 心跳盒子，存储心跳期间需要使用的变量
ProcessEngine 暂不用，留着
Udp udp协议实现，udp心跳入口

数据流

• msgQueue: 预同步数据队列
• receiveQueue: 已同步数据队列
• ackMap: 消息确认机制

使用

启动心跳

启动心跳线程前，需要将heartBox放在全局的地方，因为所有的信息都在于操作这一个对象，比如

public class Sets {
	private Sets(){}
	/** 心跳相关 */
	public static HeartBox heartBox = new HeartBox();
	/** 同步列表 结构为 标识->消息*/
	public static Map<String,Map<String,Object>> synMap = new HashMap<String,Map<String,Object>>();
}

int port = 8108;
String pIp = "127.0.0.1";
int pPort = 8191;
long timeout = 10000;
// 启动心跳线程
new Udp(ip, port, pIp, pPort, timeout, Sets.heartBox).begin();

如果没有父级

new Udp(ip, port, timeout, heartBox).begin();

数据同步

// 此步为数据同步需要，启动消息同步线程
new Thread(new MessageSynThread(Sets.heartBox)).start();

messageSynThread内容如下

/**
 * 消息同步线程
 * @ClassName MessageSynThread
 * @Description: 消息同步线程
 * @date 2019年6月12日 下午5:19:07
 */
public class MessageSynThread implements Runnable{
	/** 心跳相关信息 */
	private HeartBox heartBox;
	public MessageSynThread(HeartBox heartBox) {
		this.heartBox = heartBox;
	}
	@Override
	public void run() {
		// 轮询取同步消息
		while(true){
			try {
				/** 
				 	同步消息 分为三个字段 
					同步数据:data;
					同步数据类型:type -> task,resource;
				 	同步方式: method -> add update del
				*/
				// receiveQueue为当前节点接收到的同步消息
				String data = heartBox.getReceiveQueue().take();
				JSONObject json = JSON.parseObject(data);
				if(!Sets.synMap.containsKey(json.getString("type"))){
					Sets.synMap.put(json.getString("type"), new HashMap<String,Object>());
				}
				Map<String,Object> typeMap = Sets.synMap.get(json.getString("type"));
				try {
					Map<String,Object> dataMap = JSON.parseObject(json.getString("data"), new HashMap<String,Object>().getClass());
					ReflectUtil.processMethod(MessageSynHandle.class, json.getString("method"), typeMap,dataMap);
				} catch (Exception e) {
					e.printStackTrace();
				}
			} catch (InterruptedException e) {
				e.printStackTrace();
			}
		}
	}
}

MessageSynHandle

/**
 * 数据同步操作
 * @ClassName MessageSynHandle
 * @Description: 数据同步操作
 * @author Tangjc
 * @date 2019年6月12日 下午7:54:07
 */
public class MessageSynHandle {
	/**
	 * 添加操作
	 * @Title: add
	 * @Description: 添加操作
	 * @author Tangjc
	 * @param synMap 同步集合
	 * @param dataMap 待同步数据
	 * @return void
	 */
	public void add(HashMap<String,Object> synMap,HashMap<String,Object> dataMap){
		synMap.putAll(dataMap);
	}
	/**
	 * 修改操作
	 * @Title: add
	 * @Description: 修改操作
	 * @author Tangjc
	 * @param synMap 同步集合
	 * @param dataMap 待同步数据
	 * @return void
	 */
	public void update(HashMap<String,Object> synMap,HashMap<String,Object> dataMap){
		synMap.putAll(dataMap);
	}
	/**
	 * 修改操作
	 * @Title: add
	 * @Description: 修改操作
	 * @author Tangjc
	 * @param synMap 同步集合
	 * @param dataMap 待同步数据
	 * @return void
	 */
	public void del(HashMap<String,Object> synMap,HashMap<String,Object> dataMap){
		dataMap.forEach((key,value)->{
			synMap.remove(key);
		});
	}
}

发送同步消息

在此心跳程序和同步线程启动好后，如果有需要同步的数据，请调出heartBox.getMsgQueueMap()

// 接收该同步消息的的ip 只有建立了心跳才能同步
String ip = "192.168.1.100"
JSONObject json = new JSONObject();
// 该此同步为 添加  除此之外还有update 修改，del 删除
json.put("method", "add");
// 标识 根据业务需要来 同步过去后变为 synMap的key
json.put("type", "resource");
// 数据 规定使用map格式
Map<String,String> dataMap = new HashMap<String,String>();
dataMap.put("userId",1);
json.put("data", dataMap);
// 根据ip选择需要同步的节点
Sets.heartBox.getMsgQueueMap().get(ip).put(json.toJSONString());

心跳线程会根据每一次心跳读取队列同步消息

接收同步消息

MessageSynThread同步线程里已经将ReceiveQueue的消息放入了synMap里这时候取出就好

String type = "resource"
Object userId = Sets.synMap.get(type).get("userId");

下一次更新计划

• 基于用户实现数据同步
• 增加http协议心跳同步
• 修复bug（如果有- -）
  由于工作关系，看反响如何（如果有…），随缘更新

这里是git地址