分布式唯一ID
- 使用RocketMQ时,需要使用到分布式唯一ID
- 消息可能会发生重复,所以要在消费端做幂等性,为了达到业务的幂等性,生产者必须要有一个唯一ID, 需要满足以下条件:
- 同一业务场景要全局唯一
- 该ID必须是在消息的发送方进行生成发送到MQ
- 消费端根据该ID进行判断是否重复,确保幂等性
- 在哪里产生以及消费端进行判断做幂等性与该ID无关,此ID需要保证的特性:
Snowflake算法
- Snowflake是Twitter开源的分布式ID生成算法, 结果是一个Long型的ID,核心思想是:
- 使用1位作为符号位,确定为0, 表示正
- 使用41位作为毫秒数
- 使用10位作为机器的ID : 高5位是数据中心ID, 低5位是机器ID
- 使用12位作为毫秒内的序列号, 意味着每个节点每秒可以产生4096(2^12^) 个ID 该算法通过二进制的操作进行实现,单机每秒内理论上最多可以生成1000*(2^12), 即409.6万个ID
SnowflakeIdWorker
- Snowflake算法Java实现SnowflakeIdWorker:
/**
* Twitter_Snowflake<br>
* SnowFlake的结构如下(每部分用-分开):<br>
* 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br>
* 1位标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0<br>
* 41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值(当前时间截 - 开始时间截)
* 得到的值),这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序来指定的(如下下面程序IdWorker类的startTime属性)。41位的时间截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br>
* 10位的数据机器位,可以部署在1024个节点,包括5位datacenterId和5位