深入解析雪花算法：分布式ID生成的利器

需要重新演唱

于 2024-10-08 03:30:00 发布

阅读量1.1k

点赞数 29

文章标签：算法分布式

本文链接：https://blog.csdn.net/xycxycooo/article/details/142679784

版权

深入解析雪花算法：分布式ID生成的利器

在现代分布式系统中，如何生成全局唯一的ID是一个常见且重要的问题。特别是在微服务架构和大数据量场景下，传统的自增ID或UUID已经无法满足需求。Twitter开源的雪花算法（SnowFlake）应运而生，成为许多互联网公司推荐的解决方案。本文将深入探讨雪花算法的原理、实现细节以及优缺点，帮助程序员快速理解和应用这一高效工具。

1. 背景与需求

1.1 分布式系统中的ID生成问题

在分布式系统中，传统的单表自增ID无法满足需求。例如，在MySQL中，如果进行水平分表，多个表可能会生成重复的ID。UUID虽然可以保证唯一性，但生成的字符串无序，不适合作为数据库主键。Redis的自增原子性虽然可行，但业内较少使用。因此，我们需要一种高效、有序且分布式友好的ID生成方案。

1.2 雪花算法的诞生

雪花算法最早由Twitter公司提出，用于解决分布式环境下生成唯一ID的问题。2014年，Twitter开源了其Scala语言版本的实现。雪花算法的核心思想是生成一个64位的长整型ID，其中包含时间戳、机器码和序列号，确保在分布式环境下生成唯一且有序的ID。

2. 雪花算法原理

2.1 64位ID的结构

雪花算法生成的64位ID结构如下：

最高1位：固定为0，表示正整数。
接下来41位：存储毫秒级时间戳，可使用约69年。
再接下10位：存储机器码，包括5位datacenterId和5位workerId，最多可部署1024台机器。
最后12位：存储序列号，同一毫秒内可生成4096个不重复ID。

2.2 时间戳

时间戳部分占用41位，存储的是当前时间戳减去一个初始时间戳（通常是服务上线时间）。这样可以确保时间戳部分在服务上线后的69年内不会溢出。

2.3 机器码

机器码部分占用10位，由datacenterId和workerId组成。datacenterId和workerId可以根据业务需求自行设定，例如机房号+机器号、机器号+服务号等。只要确保不同机器的机器码唯一即可。

2.4 序列号

序列号部分占用12位，用于区分同一毫秒内生成的多个ID。序列号从0开始递增，最大值为4095。如果同一毫秒内生成的ID超过4096个，则等待下一毫秒再生成。

3. 雪花算法实现

3.1 Java实现代码

以下是雪花算法的Java实现代码：

package com.chenpi;

import java.util.Set;
import java.util.TreeSet;

public class SnowflakeIdGenerator {

  // 初始时间戳(纪年)，可用雪花算法服务上线时间戳的值
  private static final long INIT_EPOCH = 1649059688068L;

  // 记录最后使用的毫秒时间戳，主要用于判断是否同一毫秒，以及用于服务器时钟回拨判断
  private long lastTimeMillis = -1L;

  // dataCenterId占用的位数
  private static final long DATA_CENTER_ID_BITS = 5L;
  private static final long MAX_DATA_CENTER_ID = ~(-1L << DATA_CENTER_ID_BITS);
  private long datacenterId;

  // workId占用的位数
  private static final long WORKER_ID_BITS = 5L;
  private static final long MAX_WORKER_ID = ~(-1L << WORKER_ID_BITS);
  private long workerId;

  // 最后12位，代表每毫秒内可产生最大序列号，即 2^12 - 1 = 4095
  private static final long SEQUENCE_BITS = 12L;
  private static final long SEQUENCE_MASK = ~(-1L << SEQUENCE_BITS);
  private long sequence;

  // workId位需要左移的位数 12
  private static final long WORK_ID_SHIFT = SEQUENCE_BITS;
  // dataCenterId位需要左移的位数 12+5
  private static final long DATA_CENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS;
  // 时间戳需要左移的位数 12+5+5
  private static final long TIMESTAMP_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATA_CENTER_ID_BITS;

  public SnowflakeIdGenerator(long datacenterId, long workerId) {
    if (datacenterId < 0 || datacenterId > MAX_DATA_CENTER_ID) {
      throw new IllegalArgumentException(
          String.format("datacenterId值必须大于0并且小于%d", MAX_DATA_CENTER_ID));
    }
    if (workerId < 0 || workerId > MAX_WORKER_ID) {
      throw new IllegalArgumentException(String.format("workId值必须大于0并且小于%d", MAX_WORKER_ID));
    }
    this.workerId = workerId;
    this.datacenterId = datacenterId;
  }

  public synchronized long nextId() {
    long currentTimeMillis = System.currentTimeMillis();
    if (currentTimeMillis < lastTimeMillis) {
      throw new RuntimeException(
          String.format("可能出现服务器时钟回拨问题，请检查服务器时间。当前服务器时间戳：%d，上一次使用时间戳：%d", currentTimeMillis,
              lastTimeMillis));
    }

    if (currentTimeMillis == lastTimeMillis) {
      sequence = (sequence + 1) & SEQUENCE_MASK;
      if (sequence == 0) {
        currentTimeMillis = tilNextMillis(lastTimeMillis);
      }
    } else {
      sequence = 0;
    }

    lastTimeMillis = currentTimeMillis;
    return ((currentTimeMillis - INIT_EPOCH) << TIMESTAMP_SHIFT) | (datacenterId
        << DATA_CENTER_ID_SHIFT) | (workerId << WORK_ID_SHIFT) | sequence;
  }

  private long tilNextMillis(long lastTimeMillis) {
    long currentTimeMillis = System.currentTimeMillis();
    while (currentTimeMillis <= lastTimeMillis) {
      currentTimeMillis = System.currentTimeMillis();
    }
    return currentTimeMillis;
  }

  public static void main(String[] args) {
    SnowflakeIdGenerator snowflakeIdGenerator = new SnowflakeIdGenerator(1, 2);

    // 生成50个id
    Set<Long> set = new TreeSet<>();
    for (int i = 0; i < 50; i++) {
      set.add(snowflakeIdGenerator.nextId());
    }
    System.out.println(set.size());
    System.out.println(set);

    // 验证生成100万个id需要多久
    long startTime = System.currentTimeMillis();
    for (int i = 0; i < 1000000; i++) {
      snowflakeIdGenerator.nextId();
    }
    System.out.println(System.currentTimeMillis() - startTime);
  }
}