分布式ID之生成策略

分布式系统ID生成的基本要求

1. 在分布式的环境下必须全局唯一。
2. 一般都需要单调递增，因为一般唯一ID都会存到数据库而Innodb的特性就是将内容存储在主键索引树上的叶子结点，而且是从左往右，递增的，所以考虑到数据库的性能，一般生成的ID也最好是单调递增。为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先它相对较长，另外UUID一般是无序的。

---

分布式ID生成机制

• 数据库自增ID机制适合分布式ID吗？

答：大厂大数据量情况下不合适，小厂小并发，可以使用数据库ID自增和replace into来实现分布式ID

1. 系统水平扩展比较困难，比如定义好了步长和机器台数之后，如果要添加机器该怎么做？假设只有一台机器发号是1,2,3,4,5（步长是1），这个时候需要扩容机器一台，可以这样做 ：把第二台机器的初始值设置的比第一台超过好多，貌似还好，想象一下如果我们线上有100台机器，这个时候要扩容该怎么做？
2. 数据库的压力还是比较大，每次获取ID都得读写一次数据库，非常影响性能，不符合分布式ID里面的低延迟和要高QPS的规则（在高并发下，如果都去数据库里面获取ID，那是非常影响性能的）

• Redis生成分布式唯一ID
  基于Redis生成全局id策略，

单机版：因为Redis是但线程的天生保证原子性，单机版可以使用INCR和INCRBY来实现ID策略。
集群版：Redis集群下设置INCRBY步长为集群Redis数据。设置每台服务器的初始值。
缺点：天哪！我只想要一个全局ID啊，还要花费人力物力维护一个Redis集群。。。得不偿失啊。

SnowFlake详谈

• Twitter的分布式自增ID算法snowflake
  snowflake,经过测试，每秒能够产生26万个自增可排序的ID
  SnowFlake算法特点：

1. Snowflake生成ID能够按照时间有序的生成
2. SnowFlake算法生成ID的结果是一个64bit大小的整数，为一个Long型（转换成字符串后长度最多19）。
3. 分布式系统内不会产生ID碰撞（由datacenter和workerId作区分）并且效率较高

雪花算法结构图（粘贴的）如下：

• 生成的id一般都是用整数，所以最高位固定为0.
• 41bit-时间戳，用来记录时间戳，毫秒级，41位可以表示2⁴¹-1个数字。如果只用来表示正整数（计算机中正数包含0），可以表示的数值范围是：2^{41}-1，转化成单位年则是69年。
• 10bit-工作机器id，用来记录工作机器id。可以部署在2^{10}=1024个节点，包括5位datacenterid和5位workld
• 12bit-序列号，用来记录同毫秒内产生的不同id。12位表示的最大整数是2^{12}-1=4095，即可以使用0,1,2,3…4094这4095个数字来表示同一台机器同一时间（毫秒）内产生的4095个ID序号。

雪花算法的代码实现（当然是粘贴别人的，程序员之间怎能称之为偷呢）

package com.ydt.test.utils;

public class IdWorker {
 
	//因为二进制里第一个 bit 为如果是 1，那么都是负数，但是我们生成的 id 都是正数，所以第一个 bit 统一都是 0。
 
	//机器ID  2进制5位  32位减掉1位 31个
	private long workerId;
	//机房ID 2进制5位  32位减掉1位 31个
	private long datacenterId;
	//代表一毫秒内生成的多个id的最新序号  12位 4096 -1 = 4095 个
	private long sequence;
	//设置一个时间初始值    2^41 - 1   差不多可以用69年
	private long twepoch = 1585644268888L;
	//5位的机器id
	private long workerIdBits = 5L;
	//5位的机房id
	private long datacenterIdBits = 5L;
	//每毫秒内产生的id数 2 的 12次方
	private long sequenceBits = 12L;
	// 这个是二进制运算，就是5 bit最多只能有31个数字，也就是说机器id最多只能是32以内
	private long maxWorkerId = -1L ^ (-1L << workerIdBits);
	// 这个是一个意思，就是5 bit最多只能有31个数字，机房id最多只能是32以内
	private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
 
	private long workerIdShift = sequenceBits;
	private long datacenterIdShift = sequenceBits + workerIdBits;
	private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
	private long sequenceMask = -1L ^ (-1L << sequenceBits);
	//记录产生时间毫秒数，判断是否是同1毫秒
	private long lastTimestamp = -1L;
	public long getWorkerId(){
		return workerId;
	}
	public long getDatacenterId() {
		return datacenterId;
	}
	public long getTimestamp() {
		return System.currentTimeMillis();
	}
 
 
 
	public IdWorker(long workerId, long datacenterId, long sequence) {
 
		// 检查机房id和机器id是否超过31 不能小于0
		if (workerId > maxWorkerId || workerId < 0) {
			throw new IllegalArgumentException(
					String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
		}
 
		if (datacenterId > maxDatacenterId || datacenterId < 0) {
 
			throw new IllegalArgumentException(
					String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
		}
		this.workerId = workerId;
		this.datacenterId = datacenterId;
		this.sequence = sequence;
	}
 
	// 这个是核心方法，通过调用nextId()方法，让当前这台机器上的snowflake算法程序生成一个全局唯一的id
	public synchronized long nextId() {
		// 这儿就是获取当前时间戳，单位是毫秒
		long timestamp = timeGen();
		if (timestamp < lastTimestamp) {
 
			System.err.printf(
					"clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
			throw new RuntimeException(
					String.format("Clock moved backwards. Refusing to generate id for %d milliseconds",
							lastTimestamp - timestamp));
		}
 
		// 下面是说假设在同一个毫秒内，又发送了一个请求生成一个id
		// 这个时候就得把seqence序号给递增1，最多就是4096
		if (lastTimestamp == timestamp) {
 
			// 这个意思是说一个毫秒内最多只能有4096个数字，无论你传递多少进来，
			//这个位运算保证始终就是在4096这个范围内，避免你自己传递个sequence超过了4096这个范围
			sequence = (sequence + 1) & sequenceMask;
			//当某一毫秒的时间，产生的id数 超过4095，系统会进入等待，直到下一毫秒，系统继续产生ID
			if (sequence == 0) {
				timestamp = tilNextMillis(lastTimestamp);
			}
 
		} else {
			sequence = 0;
		}
		// 这儿记录一下最近一次生成id的时间戳，单位是毫秒
		lastTimestamp = timestamp;
		// 这儿就是最核心的二进制位运算操作，生成一个64bit的id
		// 先将当前时间戳左移，放到41 bit那儿；将机房id左移放到5 bit那儿；将机器id左移放到5 bit那儿；将序号放最后12 bit
		// 最后拼接起来成一个64 bit的二进制数字，转换成10进制就是个long型
		return ((timestamp - twepoch) << timestampLeftShift) |
				(datacenterId << datacenterIdShift) |
				(workerId << workerIdShift) | sequence;
	}
 
	/**
	 * 当某一毫秒的时间，产生的id数 超过4095，系统会进入等待，直到下一毫秒，系统继续产生ID
	 * @param lastTimestamp
	 * @return
	 */
	private long tilNextMillis(long lastTimestamp) {
 
		long timestamp = timeGen();
 
		while (timestamp <= lastTimestamp) {
			timestamp = timeGen();
		}
		return timestamp;
	}
	//获取当前时间戳
	private long timeGen(){
		return System.currentTimeMillis();
	}
 
	/**
	 *  main 测试类
	 * @param args
	 */
	public static void main(String[] args) {
		System.out.println(1&4596);
		System.out.println(2&4596);
		System.out.println(6&4596);
		System.out.println(6&4596);
		System.out.println(6&4596);
		System.out.println(6&4596);
	IdWorker worker = new IdWorker(1,1,1);
//		for (int i = 0; i < 22; i++) {
//			System.out.println(worker.nextId());
//		}
	}
}