分布式多个机器生成id,如何保证不重复?

参考:
分布式多个机器生成id,如何保证不重复? - 简书
 

 更多场景设计题参看:

场景设计题 汇总 (一)_trigger333的博客-CSDN博客

目录

1.snowflake方案:

优点:

缺点:

2.用Redis生成ID:

优点:

缺点:

3. UUID

优点:

缺点:

4 美团 Leaf


简单的想法

设计一个全局唯一的ID,需要唯一性,时间可以作为一个区分点,时间尽可能细化,精确到ms。

如果机器很多,并行生成ID,比如一毫秒内50台机器都被调用这个API生成ID,那么可以根据机器的不同再进行标识和区分。

一台机器如果运算速度快,可能1ms应该会有大量ID 生成,这种情况可以结合实际问题,限制一台机器1ms内生成的ID数量,比如至多m个。

如果N台机器都去一个叫ID生成服务器的服务器去得到全局ID,是很容易保证全局唯一且自增的,但是存在单点失效的问题,不满足高可用。

1.snowflake方案:

理解分布式id生成算法SnowFlake - SegmentFault 思否

snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID(64位)。其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID),12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID),最后还有一个符号位,永远是0。

可以表示的时间长度是69年,表示1024台机器,一个毫秒内可以有4096个ID。

优点:

1.毫秒数在高位,自增序列在低位,整个ID都是趋势递增的。

2.不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成ID的性能也是非常高的。

3.可以根据自身业务特性分配bit位,非常灵活。

缺点:

强依赖机器时钟,如果机器上时钟回拨,会导致发号重复或者服务会处于不可用状态。

Twitter的分布式雪花分片ID算法(SnowFlake)每秒自增生成26个万个可排序的ID (Java版)_HD243608836的博客-CSDN博客

2.用Redis生成ID:

因为Redis是单线程的,也可以用来生成全局唯一ID。可以用Redis的原子操作INCR和INCRBY来实现。

此外,可以使用Redis集群来获取更高的吞吐量。假如一个集群中有5台Redis,可以初始化每台Redis的值分别是1,2,3,4,5,步长都是5,各Redis生成的ID如下:

A:1,6,11,16

B:2,7,12,17

C:3,8,13,18

D:4,9,14,19

E:5,10,15,20

这种方式是负载到哪台机器提前定好,未来很难做修改。3~5台服务器基本能够满足需求,都可以获得不同的ID,但步长和初始值一定需要事先确定,使用Redis集群也可以解决单点故障问题

另外,比较适合使用Redis来生成每天从0开始的流水号,如订单号=日期+当日自增长号。可以每天在Redis中生成一个Key,使用INCR进行累加。

优点:

1)不依赖于数据库,灵活方便,且性能优于数据库。

2)数字ID天然排序,对分页或需要排序的结果很有帮助。

缺点:

1)如果系统中没有Redis,需要引入新的组件,增加系统复杂度。

2)需要编码和配置的工作量较大。

3. UUID

常见的方式。可以利用数据库也可以利用程序生成,一般来说全球唯一。UUID是由32个的16进制数字组成,所以每个UUID的长度是128位(16^32 = 2^128)。UUID作为一种广泛使用标准,有多个实现版本,影响它的因素包括时间、网卡MAC地址、自定义Namesapce等等。

优点:

1)简单,代码方便。

2)生成ID性能非常好,基本不会有性能问题。

3)全球唯一,在遇见数据迁移,系统数据合并,或者数据库变更等情况下,可以从容应对。

缺点:

1)没有排序,无法保证趋势递增

2)UUID往往是使用字符串存储,查询的效率比较低

3)存储空间比较大,如果是海量数据库,就需要考虑存储量的问题

4)传输数据量大

5)不可读。

4 美团 Leaf

美团(Leaf)分布式ID算法(实战)_靈熙雲的博客-CSDN博客_leaf算法

### 回答1: 分布式ID生成算法是一种特殊的哈希算法,它可以使用Java代码来生成一个唯一的、全局递增的ID,这样可以避免ID发生重复。下面是一段可以用来生成分布式ID的Java代码: public static long generateId() { long currentTime = System.currentTimeMillis(); long nextId = (currentTime << 8) + getRandomNumber(0, 255); return nextId; }private static int getRandomNumber(int min, int max) { Random random = new Random(); return random.nextInt((max - min) + 1) + min; } ### 回答2: 分布式ID生成算法在分布式系统中非常重要,用于生成唯一的标识符。Java语言提供了很多方法来实现这一目标,下面是一个使用Snowflake算法生成分布式ID的示例代码: ```java public class DistributedIdGenerator { private static final long EPOCH = 1609459200000L; // 自定义起始时间点,用于减小ID长度 private long workerId; private long sequence = 0L; private long lastTimestamp = -1L; public DistributedIdGenerator(long workerId) { if (workerId < 0L || workerId > 1023L) { throw new IllegalArgumentException("Worker ID must be between 0 and 1023."); } this.workerId = workerId; } public synchronized long generateId() { long currentTimestamp = System.currentTimeMillis(); if (currentTimestamp < lastTimestamp) { throw new RuntimeException("Clock moved backwards. Refusing to generate ID."); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1) & 4095; // 用位运算保证sequence不超过12位 if (sequence == 0) { currentTimestamp = nextMillis(lastTimestamp); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return ((currentTimestamp - EPOCH) << 22) | (workerId << 12) | sequence; } private long nextMillis(long lastTimestamp) { long timestamp = System.currentTimeMillis(); while (timestamp <= lastTimestamp) { timestamp = System.currentTimeMillis(); } return timestamp; } } ``` 上述代码中,使用Snowflake算法生成分布式ID。在构造方法中,传入一个workerId用于区分不同的分布式节点。generateId()方法加入了线程同步,在不同线程调用时可以保证生成ID唯一性。生成ID由三部分组成,即时间戳、worker ID和序列号。使用位运算进行位移和操作,保证ID的长度以及每个部分的取值范围。在运行过程中,如果发现系统的时间比上一次生成ID时的时间回退了,会抛出异常。如果当前时间戳与上一次相等,则增加序列号,否则重置序列号为0。返回的ID可以用于唯一标识分布式系统中的不同实体。 ### 回答3: 分布式ID生成算法是为了解决多个节点之间生成唯一ID的问题。一个常见的分布式ID生成算法是Snowflake算法。 Snowflake算法是Twitter提出的一种算法,通过结合时间戳、机器ID和序列号来生成唯一的ID。下面是一个使用Java语言实现的简单示例代码: public class SnowflakeIdGenerator { private final long startTimeStamp = 1566769200000L; // 设置起始时间戳,例如2019-08-26 00:00:00 private final long machineIdBits = 5L; // 机器ID所占位数 private final long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器ID private final long sequenceBits = 12L; // 序列号所占位数 private final long machineIdShift = sequenceBits; // 机器ID左移位数 private final long timestampShift = sequenceBits + machineIdBits; // 时间戳左移位数 private final long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码 private long lastTimeStamp = -1L; private long sequenceId = 0L; private long machineId; public SnowflakeIdGenerator(long machineId) { if (machineId < 0 || machineId > maxMachineId) { throw new IllegalArgumentException("Invalid machineId. It must be between 0 and " + maxMachineId); } this.machineId = machineId; } public synchronized long generateId() { long currentTimeStamp = System.currentTimeMillis(); if (currentTimeStamp < lastTimeStamp) { throw new RuntimeException("Invalid system clock. Current timestamp is less than last timestamp."); } if (currentTimeStamp == lastTimeStamp) { sequenceId = (sequenceId + 1) & sequenceMask; if (sequenceId == 0) { currentTimeStamp = getNextTimeStamp(); } } else { sequenceId = 0L; } lastTimeStamp = currentTimeStamp; return ((currentTimeStamp - startTimeStamp) << timestampShift) | (machineId << machineIdShift) | sequenceId; } private long getNextTimeStamp() { long timeStamp = System.currentTimeMillis(); while (timeStamp <= lastTimeStamp) { timeStamp = System.currentTimeMillis(); } return timeStamp; } } 在使用时,可以创建一个SnowflakeIdGenerator对象,并传入机器ID,然后调用generateId()方法即可生成一个唯一的ID。例如: public class Main { public static void main(String[] args) { SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1); // 创建一个机器ID为1的ID生成器 long id = idGenerator.generateId(); // 生成唯一ID System.out.println(id); } } 这样就可以得到一个分布式环境下唯一的ID了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

trigger333

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值