获取consul中配置为null_使用Consul做leader选举的方案

在分布式集群部署模式下，为了维护数据一致性，通常需要选举出一个leader来进行协调，并且在leader挂掉后能从集群中选举出一个新的leader。选举leader的方案有很多种，对Paxos和Raft协议有过了解的同学应该对leader选举有一些认识，一般都是按照少数服从多数的原则来实现，但是因为分布式环境中无法避免的网络不稳定、数据不同步、时间偏差等问题，要想搞好leader选举并不是一件特别容易的事。这篇文章将提供一个使用Consul做leader选举的简单方案。

原理

Consul 的leader选举只有两步：

1、Create Session：参与选举的应用分别去创建Session，Session的存活状态关联到健康检查。

2、Acquire KV：多个应用带着创建好的Session去锁定同一个KV，只能有一个应用锁定住，锁定成功的应用就是leader。

leader选举示意图

如上图所示，这里假设App2用Session锁定住了KV，其实就是KV的Session属性设置为了Session2。

什么时候会触发重新选举呢？

• Session失效：Session被删除、Session关联的健康检查失败、Session TTL过期等。
• KV被删除：这个没什么需要特别说明的。

那应用们怎么感知这些情况呢？

应用在选举结束后，应该保持一个到KV的阻塞查询，这个查询会在超时或者KV发生变化的时候返回结果，这时候应用可以根据返回结果判断是否发起新的选举。

示例

这里给出一个Java的例子：这是一个控制台程序，程序会创建一个Session，然后尝试使用这个Session锁定key为“program/leader”的Consul KV，同时也会尝试设置KV的值为当前节点Id“007”。不管捕获成功还是失败，程序随后都会启动一个针对“program/leader”的阻塞查询，在阻塞查询返回时会判断KV是否存在或者绑定的Session是否存在，如果有任何一个不存在，则发起选举，否则继续阻塞查询。这个“阻塞查询->选举”的操作是一个无限循环操作。

package cn.bossma;mport com.ecwid.consul.v1.ConsulClient;import com.ecwid.consul.v1.QueryParams;import com.ecwid.consul.v1.kv.model.GetValue;import com.ecwid.consul.v1.kv.model.PutParams;import com.ecwid.consul.v1.session.model.NewSession;import com.ecwid.consul.v1.session.model.Session;import org.apache.commons.lang3.StringUtils;** * consul leader 选举演示程序 * * @author: bossma.cn */public class Main { private static ConsulClient client = new ConsulClient(); private static String sesssionId = ""; private static String nodeId = "007"; private static String electName = "program/leader"; /** * @param args */ public static void main(String[] args) { System.out.println("starting"); watch(); } /** * 监控选举 * * @param: * @return: * @author: bossma.cn */ private static void watch() { System.out.println("start first leader election"); // 上来就先选举一次，看看结果 ElectResponse electResponse = elect(); System.out.printf("elect result: %s, current manager: %s" + System.getProperty("line.separator"), electResponse.getElectResult(), electResponse.getLeaderId()); long waitIndex = electResponse.modifyIndex++; int waitTime = 30; do { try { System.out.println("start leader watch query"); // 阻塞查询 GetValue kv = getKVValue(electName, waitTime, waitIndex); // kv被删除或者kv绑定的session不存在 if (null == kv || StringUtils.isEmpty(kv.getSession())) { System.out.println("leader missing, start election right away"); electResponse = elect(); waitIndex = electResponse.modifyIndex++; System.out.printf("elect result: %s, current manager: %s" + System.getProperty("line.separator"), electResponse.getElectResult(), electResponse.getLeaderId()); } else { long kvModifyIndex = kv.getModifyIndex(); waitIndex = kvModifyIndex++; } } catch (Exception ex) { System.out.print("leader watch异常：" + ex.getMessage()); try { Thread.sleep(3000); } catch (Exception ex2) { System.out.printf(ex2.getMessage()); } } } while (true); } /** * 执行选举 * * @param: * @return: * @author: bossma.cn */ private static ElectResponse elect() { ElectResponse response = new ElectResponse(); Boolean electResult = false; // 创建一个关联到当前节点的Session if (StringUtils.isNotEmpty(sesssionId)) { Session s = getSession(sesssionId); if (null == s) { // 这里session关联的健康检查只绑定了consul节点的健康检查 // 实际使用的时候建议把当前应用程序的健康检查也绑定上，否则如果只是程序关掉了，session也不会失效 sesssionId = createSession(10); } } else { sesssionId = createSession(10); } // 获取选举要锁定的Consul KV对象 GetValue kv = getKVValue(electName); if (null == kv) { kv = new GetValue(); } // 谁先捕获到KV，谁就是leader // 注意：如果程序关闭后很快启动，session关联的健康检查可能不会失败，所以session不会失效 // 这时候可以把程序创建的sessionId保存起来，重启后首先尝试用上次的sessionId， electResult = acquireKV(electName, nodeId, sesssionId); // 无论参选成功与否，获取当前的Leader kv = getKVValue(electName); response.setElectResult(electResult); response.setLeaderId(kv.getDecodedValue()); response.setModifyIndex(kv.getModifyIndex()); return response; } /** * 创建Session * * @param: lockDealy session从kv释放后，kv再次绑定session的延迟时间 * @return: * @author: bossma.cn */ private static String createSession(int lockDelay) { NewSession session = new NewSession(); session.setLockDelay(lockDelay); return client.sessionCreate(session, QueryParams.DEFAULT).getValue(); } /** * 获取指定的session信息 * * @param: sessionId * @return: Session对象 * @author: bossma.cn */ private static Session getSession(String sessionId) { return client.getSessionInfo(sessionId, QueryParams.DEFAULT).getValue(); } /** * 使用Session捕获KV * * @param key * @param value * @param sessionId * @return * @author: bossma.cn */ public static Boolean acquireKV(String key, String value, String sessionId) { PutParams putParams = new PutParams(); putParams.setAcquireSession(sessionId); return client.setKVValue(key, value, putParams).getValue(); } /** * 获取指定key对应的值 * * @param: key * @return: * @author: bossma.cn */ private static GetValue getKVValue(String key) { return client.getKVValue(key).getValue(); } /** * block获取指定key对应的值 * * @param: key, waitTime, waitIndex * @return: * @author: bossma.cn */ private static GetValue getKVValue(String key, int waitTime, long waitIndex) { QueryParams paras = QueryParams.Builder.builder() .setWaitTime(waitTime) .setIndex(waitIndex) .build(); return client.getKVValue(key, paras).getValue(); } /** * leader选举结果 * * @author: bossma.cn */ private static class ElectResponse { private Boolean electResult = false; private long modifyIndex = 0; private String leaderId; public String getLeaderId() { return leaderId; } public void setLeaderId(String leaderId) { this.leaderId = leaderId; } public Boolean getElectResult() { return electResult; } public void setElectResult(Boolean electResult) { this.electResult = electResult; } public long getModifyIndex() { return modifyIndex; } public void setModifyIndex(long modifyIndex) { this.modifyIndex = modifyIndex; } }}

坑

1、用于选举的Consul KV必须使用锁定的session进行更新，如果通过其它方式更新，KV绑定的Session不会有影响，也就是说KV还是被原来的程序锁定，但是却被其它的程序修改了，这不符合leader的规则。

2、Session 关联的健康检查默认只有当前节点的健康检查，如果应用程序停止，Session并不会失效，所以建议将Session 关联的健康检查包含应用的健康检查；但是如果只有应用的健康检查，服务器停止，应用的健康检查仍可能是健康的，所以Session的健康检查应该把应用程序和Consul 节点的健康检查都纳入进来。

3、如果程序关闭后很快启动，session关联的健康检查可能不会失败，所以session不会失效，程序启动后如果创建一个新的Session去锁定KV，就不能成功锁定KV，这时候建议将SessionId持久化存储，如果Session还存在，就还是用这个Session 去锁定。

4、lockdelay：这不是一个坑，是一个保护机制，但需要考虑好用不用。它可以在session失效后短暂的不允许其它session来锁定KV，这是因为此时应用程序可能还是正常的，session关联的健康检查误报了，应用程序可能还在处理业务，需要一段时间来结束处理。也可以使用0值把这个机制禁止掉。

5、可能leader加载的东西比较多，leader切换比较麻烦，考虑到session关联的健康检查误报的问题，希望leader选举优先上次锁定KV的程序，这样可以提高效率。此时可以在选举程序中增加一些逻辑：如果选举的时候发现上次的leader是当前程序，则立即选举；如果发现上次的leader不是当前程序，则等待两个固定的时间周期再提交选举。

整体上看，Consul提供的Leader选举方案还是比较简单的，无论是集群部署中的leader选举，还是传统主备部署，都可以适用。其中的关键是Session，一定要结合自己的业务考虑周全。