自定义分布式ID算法
算法原理
参考雪花算法,将当前时间减去基准时间(8位36进制) + 自增序列(4位36进制) + 服务器ID(4位10进制:worker+datacenter) + 随机数(4位10进制)。
例如:当前时间和20100101的差值(8位36进制可使用89年,9位可以使用3220年) + 自增序列(4位36进制,每毫秒支持160万个自增序列值) +服务器ID(4位10进制:worker+datacenter) + 随机数(4位10进制,可拆分8192个数据库),理论上不同服务器每秒支持生成至少16亿个不重复ID(实际笔记本测试可达400万个ID/秒)
使用36进制的原因:
主要是解决雪花算法时间回拨导致ID重复问题,增加ID的实际精度实现唯一性。之所以不采用62进制是因为ID有可能用于文件名,部分数据库可能设置为不区分大小写的场景,而且62进制对ID的整体长度影响不大。
优点
- 毫秒数在高位,自增序列在低位,整个 ID 都是趋势递增的。(同一毫秒内排序可能不正确,因为计数器没做清零)
- 不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成 ID 的性能也是非常高的。可以达到400万个ID/秒。
- 可以根据自身业务特性分配 bit 位,非常灵活。
- 支持类似mycat的分库分表机制,可以根据策略进行分库的框架,最大支持拆分8192个数据库。
- ID长度在89年内保持20位,大于89年为21位,有随机数和自增序列可以保证数据的安全。
- 理论不存在时钟回拨问题,计数器每毫秒不清零,并且每毫秒有9999个随机数。
- 可支持本地批量生成,缓存ID。
缺点
- ID是20位字符串,相对自增序列占用更大的存储空间。
- 不满足具备业务规则的id生成方式,例如希望以年月日开头的id。
- 分库分表只支持随机或者根据worker+datacenter方式拆分。不支持类似自增序列的方式进行拆分。
- VARCHAR似乎比NUMBER类型性能差一些(oracle自己测试感觉差的不多),对索引的支持可能不同的数据库有一些差异,例如对id有order by 或者是大于,小余等需求。
- 其他未知问题。
源码
StringIdGenerator
import java.security.SecureRandom;
/**
* 20位字符串Id生成类
*
* @author huangsq
* @version 1.0, 2018-02-19
*/
public class StringIdGenerator implements IdGenerator<String> {
/**
* 开始时间截 (20100101)
*/
public static final long START_TIME = 1262275200000L;
public static final int MIN_SEQUENCE = 50000;
public static final int MAX_SEQUENCE = 1679615;
/**
* 支持的最大服务器ID标识
*/
public static final long MAX_SERVER_ID = 9999;
/**
* 默认进制
*/
private static final int RADIX = 36;
/**
* 机器id所占的位数
*/
private static final long workerIdBits = 12L;
/**
* 数据标识id所占的位数
*/
private static final long datacenterIdBits = 12L;
/**
* 支持的最大机器id,结果是4095
*/
private static final long maxWorkerId = -1L ^ (-1L << workerIdBits);
/**
* 支持的最大数据标识id,结果是4095
*/
private static final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
/**
* 机器ID向左移12位
*/
private final long workerIdShift = 0;
/**
* 数据标识id向左移17位(12+5)
*/
private final long datacenterIdShift = workerIdBits;
private SecureRandom random = new SecureRandom();
private int sequence = MIN_SEQUENCE;
public static void main(String[] args) {
System.out.println(maxWorkerId);
}
/**
* 上次生成ID的时间截
*/
private long lastTimestamp = -1L;
/**
* 服务器ID(0~9999)
*/
private int serverId;
/**
* 构造函数
*
* @param workerId 工作ID (0~31)
* @param datacenterId 数据中心ID (0~31)
*/
public StringIdGenerator(int workerId, int datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(
String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(
String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
this.serverId = (datacenter