自定义分布式ID算法

本文介绍了基于雪花算法改进的自定义分布式ID生成策略,详细阐述了算法原理、优点和缺点。通过结合时间戳、自增序列、服务器ID和随机数,确保ID的唯一性和趋势递增性。同时,讨论了36进制的选择原因以及ID长度和存储空间的权衡。虽然存在一些限制,但该算法在稳定性和灵活性方面表现出色。
摘要由CSDN通过智能技术生成

自定义分布式ID算法

算法原理

参考雪花算法,将当前时间减去基准时间(8位36进制) + 自增序列(4位36进制) + 服务器ID(4位10进制:worker+datacenter) + 随机数(4位10进制)。

例如:当前时间和20100101的差值(8位36进制可使用89年,9位可以使用3220年) + 自增序列(4位36进制,每毫秒支持160万个自增序列值) +服务器ID(4位10进制:worker+datacenter) + 随机数(4位10进制,可拆分8192个数据库),理论上不同服务器每秒支持生成至少16亿个不重复ID(实际笔记本测试可达400万个ID/秒)

使用36进制的原因:

主要是解决雪花算法时间回拨导致ID重复问题,增加ID的实际精度实现唯一性。之所以不采用62进制是因为ID有可能用于文件名,部分数据库可能设置为不区分大小写的场景,而且62进制对ID的整体长度影响不大。

优点

  1. 毫秒数在高位,自增序列在低位,整个 ID 都是趋势递增的。(同一毫秒内排序可能不正确,因为计数器没做清零)
  2. 不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成 ID 的性能也是非常高的。可以达到400万个ID/秒。
  3. 可以根据自身业务特性分配 bit 位,非常灵活。
  4. 支持类似mycat的分库分表机制,可以根据策略进行分库的框架,最大支持拆分8192个数据库。
  5. ID长度在89年内保持20位,大于89年为21位,有随机数和自增序列可以保证数据的安全。
  6. 理论不存在时钟回拨问题,计数器每毫秒不清零,并且每毫秒有9999个随机数。
  7. 可支持本地批量生成,缓存ID。

缺点

  1. ID是20位字符串,相对自增序列占用更大的存储空间。
  2. 不满足具备业务规则的id生成方式,例如希望以年月日开头的id。
  3. 分库分表只支持随机或者根据worker+datacenter方式拆分。不支持类似自增序列的方式进行拆分。
  4. VARCHAR似乎比NUMBER类型性能差一些(oracle自己测试感觉差的不多),对索引的支持可能不同的数据库有一些差异,例如对id有order by 或者是大于,小余等需求。
  5. 其他未知问题。

源码

StringIdGenerator

import java.security.SecureRandom;

/**
 * 20位字符串Id生成类
 *
 * @author huangsq
 * @version 1.0, 2018-02-19
 */
public class StringIdGenerator implements IdGenerator<String> {
   

	/**
	 * 开始时间截 (20100101)
	 */
	public static final long START_TIME = 1262275200000L;

	public static final int MIN_SEQUENCE = 50000;
	public static final int MAX_SEQUENCE = 1679615;
	/**
	 * 支持的最大服务器ID标识
	 */
	public static final long MAX_SERVER_ID = 9999;
	/**
	 * 默认进制
	 */
	private static final int RADIX = 36;

	/**
	 * 机器id所占的位数
	 */
	private static final long workerIdBits = 12L;
	/**
	 * 数据标识id所占的位数
	 */
	private static final long datacenterIdBits = 12L;
	/**
	 * 支持的最大机器id,结果是4095
	 */
	private static final long maxWorkerId = -1L ^ (-1L << workerIdBits);
	/**
	 * 支持的最大数据标识id,结果是4095
	 */
	private static final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
	/**
	 * 机器ID向左移12位
	 */
	private final long workerIdShift = 0;
	/**
	 * 数据标识id向左移17位(12+5)
	 */
	private final long datacenterIdShift = workerIdBits;

	private SecureRandom random = new SecureRandom();

	private int sequence = MIN_SEQUENCE;

	public static void main(String[] args) {
   
		System.out.println(maxWorkerId);
	}

	/**
	 * 上次生成ID的时间截
	 */
	private long lastTimestamp = -1L;

	/**
	 * 服务器ID(0~9999)
	 */
	private int serverId;

	/**
	 * 构造函数
	 *
	 * @param workerId     工作ID (0~31)
	 * @param datacenterId 数据中心ID (0~31)
	 */
	public StringIdGenerator(int workerId, int datacenterId) {
   
		if (workerId > maxWorkerId || workerId < 0) {
   
			throw new IllegalArgumentException(
					String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
		}
		if (datacenterId > maxDatacenterId || datacenterId < 0) {
   
			throw new IllegalArgumentException(
					String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
		}
		this.serverId = (datacenter
### 回答1: 分布式ID生成算法是一种特殊的哈希算法,它可以使用Java代码来生成一个唯一的、全局递增的ID,这样可以避免ID发生重复。下面是一段可以用来生成分布式IDJava代码: public static long generateId() { long currentTime = System.currentTimeMillis(); long nextId = (currentTime << 8) + getRandomNumber(0, 255); return nextId; }private static int getRandomNumber(int min, int max) { Random random = new Random(); return random.nextInt((max - min) + 1) + min; } ### 回答2: 分布式ID生成算法分布式系统中非常重要,用于生成唯一的标识符。Java语言提供了很多方法来实现这一目标,下面是一个使用Snowflake算法生成分布式ID的示例代码: ```java public class DistributedIdGenerator { private static final long EPOCH = 1609459200000L; // 自定义起始时间点,用于减小ID长度 private long workerId; private long sequence = 0L; private long lastTimestamp = -1L; public DistributedIdGenerator(long workerId) { if (workerId < 0L || workerId > 1023L) { throw new IllegalArgumentException("Worker ID must be between 0 and 1023."); } this.workerId = workerId; } public synchronized long generateId() { long currentTimestamp = System.currentTimeMillis(); if (currentTimestamp < lastTimestamp) { throw new RuntimeException("Clock moved backwards. Refusing to generate ID."); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1) & 4095; // 用位运算保证sequence不超过12位 if (sequence == 0) { currentTimestamp = nextMillis(lastTimestamp); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return ((currentTimestamp - EPOCH) << 22) | (workerId << 12) | sequence; } private long nextMillis(long lastTimestamp) { long timestamp = System.currentTimeMillis(); while (timestamp <= lastTimestamp) { timestamp = System.currentTimeMillis(); } return timestamp; } } ``` 上述代码中,使用Snowflake算法生成分布式ID。在构造方法中,传入一个workerId用于区分不同的分布式节点。generateId()方法加入了线程同步,在不同线程调用时可以保证生成的ID唯一性。生成的ID由三部分组成,即时间戳、worker ID和序列号。使用位运算进行位移和操作,保证ID的长度以及每个部分的取值范围。在运行过程中,如果发现系统的时间比上一次生成ID时的时间回退了,会抛出异常。如果当前时间戳与上一次相等,则增加序列号,否则重置序列号为0。返回的ID可以用于唯一标识分布式系统中的不同实体。 ### 回答3: 分布式ID生成算法是为了解决多个节点之间生成唯一ID的问题。一个常见的分布式ID生成算法是Snowflake算法。 Snowflake算法是Twitter提出的一种算法,通过结合时间戳、机器ID和序列号来生成唯一的ID。下面是一个使用Java语言实现的简单示例代码: public class SnowflakeIdGenerator { private final long startTimeStamp = 1566769200000L; // 设置起始时间戳,例如2019-08-26 00:00:00 private final long machineIdBits = 5L; // 机器ID所占位数 private final long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器ID private final long sequenceBits = 12L; // 序列号所占位数 private final long machineIdShift = sequenceBits; // 机器ID左移位数 private final long timestampShift = sequenceBits + machineIdBits; // 时间戳左移位数 private final long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码 private long lastTimeStamp = -1L; private long sequenceId = 0L; private long machineId; public SnowflakeIdGenerator(long machineId) { if (machineId < 0 || machineId > maxMachineId) { throw new IllegalArgumentException("Invalid machineId. It must be between 0 and " + maxMachineId); } this.machineId = machineId; } public synchronized long generateId() { long currentTimeStamp = System.currentTimeMillis(); if (currentTimeStamp < lastTimeStamp) { throw new RuntimeException("Invalid system clock. Current timestamp is less than last timestamp."); } if (currentTimeStamp == lastTimeStamp) { sequenceId = (sequenceId + 1) & sequenceMask; if (sequenceId == 0) { currentTimeStamp = getNextTimeStamp(); } } else { sequenceId = 0L; } lastTimeStamp = currentTimeStamp; return ((currentTimeStamp - startTimeStamp) << timestampShift) | (machineId << machineIdShift) | sequenceId; } private long getNextTimeStamp() { long timeStamp = System.currentTimeMillis(); while (timeStamp <= lastTimeStamp) { timeStamp = System.currentTimeMillis(); } return timeStamp; } } 在使用时,可以创建一个SnowflakeIdGenerator对象,并传入机器ID,然后调用generateId()方法即可生成一个唯一的ID。例如: public class Main { public static void main(String[] args) { SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1); // 创建一个机器ID为1的ID生成器 long id = idGenerator.generateId(); // 生成唯一ID System.out.println(id); } } 这样就可以得到一个分布式环境下唯一的ID了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值