在分布式系统中,生成全局唯一标识符(ID)是一个常见的需求。分布式 ID 生成器需要满足高可用性、低延迟、全局唯一性等特性。以下是几种常见的分布式 ID 生成方案:
1. UUID(Universally Unique Identifier)
优点
- 全局唯一:几乎不可能重复。
- 不依赖于中心化服务:每个节点都可以独立生成 UUID。
缺点
- 长度较长:128 位,会增加存储和传输开销。
- 排序性能差:UUID 的无序性不利于数据库索引和排序。
示例
import java.util.UUID;
public class UUIDExample {
public static void main(String[] args) {
UUID uuid = UUID.randomUUID();
System.out.println(uuid.toString());
}
}
2. 数据库自增 ID
优点
- 简单易用:数据库自带功能,使用方便。
- 有序:生成的 ID 是有序的,有利于索引和排序。
缺点
- 单点瓶颈:依赖单一数据库,可能成为瓶颈和单点故障。
- 扩展性差:在高并发环境下可能无法满足需求。
示例
CREATE TABLE orders (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
order_details VARCHAR(255)
);
3. 雪花算法(Snowflake)
由 Twitter 提出的分布式 ID 生成算法,使用 64 位二进制数生成唯一 ID。
格式
- 1 位:符号位,总是 0。
- 41 位:时间戳(毫秒级)。
- 10 位:机器 ID(通常包括数据中心 ID 和机器 ID)。
- 12 位:序列号,表示同一毫秒内生成的不同 ID。
优点
- 高效:每秒可以生成大量 ID。
- 有序:生成的 ID 大致有序,有利于索引和排序。
缺点
- 依赖时钟:时钟回拨会导致 ID 重复或无效。
示例
public class SnowflakeIdGenerator {
private final long workerId;
private final long datacenterId;
private final long sequence;
private final long twepoch = 1288834974657L;
private final long workerIdBits = 5L;
private final long datacenterIdBits = 5L;
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
private final long sequenceBits = 12L;
private final long workerIdShift = sequenceBits;
private final long datacenterIdShift = sequenceBits + workerIdBits;
private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
private long lastTimestamp = -1L;
public SnowflakeIdGenerator(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
this.sequence = 0L;
}
public synchronized long nextId() {
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0L;
}
lastTimestamp = timestamp;
return ((timestamp - twepoch) << timestampLeftShift) |
(datacenterId << datacenterIdShift) |
(workerId << workerIdShift) |
sequence;
}
protected long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
protected long timeGen() {
return System.currentTimeMillis();
}
}
4. 数据库表 + 号段分配
使用数据库表记录当前 ID 号段,每次分配一个号段给服务器,服务器在号段范围内生成 ID。
优点
- 分布式:支持多台服务器同时生成 ID。
- 有序:生成的 ID 是有序的。
缺点
- 复杂性:需要管理号段分配,确保不重叠。
示例
- 创建一个号段表:
CREATE TABLE id_segments (
name VARCHAR(50) PRIMARY KEY,
max_id BIGINT,
step INT
);
- 服务器获取号段:
-- 获取并更新号段
START TRANSACTION;
SELECT max_id FROM id_segments WHERE name = 'order';
UPDATE id_segments SET max_id = max_id + step WHERE name = 'order';
COMMIT;
5. Redis 自增键
使用 Redis 的 INCR
命令生成唯一 ID,利用 Redis 的高性能和分布式特性。
优点
- 高性能:Redis 的自增操作非常快。
- 分布式:适合分布式系统。
缺点
- 依赖 Redis:需要保证 Redis 的高可用性。
示例
import redis.clients.jedis.Jedis;
public class RedisIdGenerator {
private Jedis jedis;
public RedisIdGenerator(String host, int port) {
jedis = new Jedis(host, port);
}
public long nextId(String key) {
return jedis.incr(key);
}
}
6. 雪花算法变种 - Tikv/Etcd的分布式ID生成方案
Etcd 和 TiKV 都实现了一种基于雪花算法的分布式 ID 生成方法,确保 ID 的全局唯一性和高可用性。
优点
- 高性能:高效生成唯一 ID。
- 高可用性:适合高并发环境。
缺点
- 依赖外部服务:需要额外的部署和维护工作。
示例(TiKV 提供的 Rust 实现)
TiKV 中的 Rust 实现复杂,可以参考 TiKV 官方文档和示例代码。
你可以通过以下链接访问 TiKV 的官方文档和示例代码: - TiKV 文档主页