为什么使用分布式id
- 常用的数据库自增id很可能会被爬虫根据id进行获取爬取;
- 当进行数据合并时,会出现唯一id冲突;
雪花算法介绍
- SnowFlake 算法,是 Twitter 开源的分布式 ID 生成算法;
- 使用64位的整数组成的自增id,生成速度快,简单高效,趋势递增;
雪花算法原理
- 第一部分:1个bit,无意义,固定为0;1表示负数,0表示正数,所以固定为0;
- 第二部分:41个bit,表示时间戳,精确到毫秒,可以使用69年;
- 第三部分:10个bit,表示10位的机器标识;
- 第四部分:12个bit,表示序列化,也就是一些列的自增id,可以支持同一节点同一毫秒生成最多4095个ID序号;
由于在Java中64bit的整数是long类型,所以在Java中SnowFlake算法生成的id就是long来存储的;
雪花算法优缺点
优点
- 简单高效,生成速度快;
- 时间戳在高位,自增序列在低位,整个id的趋势是递增的;
缺点
- 依赖机器时钟,如果服务器时钟回拨,会导致重复id生成,每个服务器的时钟是不可能完全同步的;
雪花算法实现(Java版)
/**
* @author 岳晓鵬
* @version 1.0
* @date 2022-07-01 20:44
* 本算法来源于网络
*/
public class SnowFlake {
/**
* 开始时间截 (2015-01-01)
*/
private final long twepoch = 1420041600000L;
/**
* 机器id所占的位数
*/
private final long workerIdBits = 5L;
/**
* 数据标识id所占的位数
*/
private final long dataCenterIdBits = 5L;
/**
* 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
*/
private final long maxWorkerId = ~(-1L << workerIdBits);
/**
* 支持的最大数据标识id,结果是31
*/
private final long maxDataCenterId = ~(-1L << dataCenterIdBits);
/**
* 序列在id中占的位数
*/
private final long sequenceBits = 12L;
/**
* 机器ID向左移12位
*/
private final long workerIdShift = sequenceBits;
/**
* 数据标识id向左移17位(12+5)
*/
private final long dataCenterIdShift = sequenceBits + workerIdBits;
/**
* 时间截向左移22位(5+5+12)
*/
private final long timestampLeftShift = sequenceBits + workerIdBits + dataCenterIdBits;
/**
*
* 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095)
*/
private final long sequenceMask = ~(-1L << sequenceBits);
/**
* 工作机器ID(0~31)
*/
private volatile long workerId;
/**
* 数据中心ID(0~31)
*/
private volatile long dataCenterId;
/**
* 毫秒内序列(0~4095)
*/
private volatile long sequence = 0L;
/**
* 上次生成ID的时间截
*/
private volatile long lastTimestamp = -1L;
//==============================Constructors=====================================
/**
* 构造函数
*
* @param workerId 工作ID (0~31)
* @param dataCenterId 数据中心ID (0~31)
*/
public SnowFlake(long workerId, long dataCenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (dataCenterId > maxDataCenterId || dataCenterId < 0) {
throw new IllegalArgumentException(String.format("dataCenter Id can't be greater than %d or less than 0", maxDataCenterId));
}
this.workerId = workerId;
this.dataCenterId = dataCenterId;
}
// ==============================Methods==========================================
/**
* 获得下一个ID (该方法是线程安全的)
* 如果一个线程反复获取Synchronized锁,那么synchronized锁将变成偏向锁。
* @return SnowflakeId
*/
public synchronized long nextId() throws RuntimeException {
long timestamp = timeGen();
//如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
if (timestamp < lastTimestamp) {
throw new RuntimeException((String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp)));
}
//如果是同一时间生成的,则进行毫秒内序列
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
//毫秒内序列溢出
if (sequence == 0) {
//阻塞到下一个毫秒,获得新的时间戳
timestamp = tilNextMillis(lastTimestamp);
}
}
//时间戳改变,毫秒内序列重置
else {
sequence = 0L;
}
//上次生成ID的时间截
lastTimestamp = timestamp;
//移位并通过或运算拼到一起组成64位的ID
return ((timestamp - twepoch) << timestampLeftShift)
| (dataCenterId << dataCenterIdShift)
| (workerId << workerIdShift)
| sequence;
}
/**
* 阻塞到下一个毫秒,直到获得新的时间戳
*
* @param lastTimestamp 上次生成ID的时间截
* @return 当前时间戳
*/
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
/**
* 返回以毫秒为单位的当前时间
*
* @return 当前时间(毫秒)
*/
private long timeGen() {
return System.currentTimeMillis();
}
}
调用打印
@Test
public void SnowFlakeTest(){
SnowFlake snowFlake = new SnowFlake(11,12);
for (int i = 0; i < 20; i++) {
try {
Thread.sleep(50);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
log.info("生成id:{}",snowFlake.nextId());
}
}
20:56:31.837 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534192297914368
20:56:31.901 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534192566349824
20:56:31.965 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534192834785280
20:56:32.027 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534193094832128
20:56:32.090 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534193359073280
20:56:32.153 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534193623314432
20:56:32.216 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534193887555584
20:56:32.278 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534194147602432
20:56:32.340 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534194407649280
20:56:32.403 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534194671890432
20:56:32.465 [main] INFO c.i. - [SnowFlakeTest,49] - 生成id:992534194931937280
20:56:32.528 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534195196178432
20:56:32.591 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534195460419584
20:56:32.652 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534195716272128
20:56:32.714 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534195976318976
20:56:32.777 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534196240560128
20:56:32.840 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534196504801280
20:56:32.903 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534196769042432
20:56:32.965 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534197029089280
20:56:33.027 [main] INFO c.i.- [SnowFlakeTest,49] - 生成id:992534197289136128