雪花算法使用以及优化问题附代码

最新推荐文章于 2024-06-05 18:54:10 发布

左魇

最新推荐文章于 2024-06-05 18:54:10 发布

阅读量1.8k

点赞数

文章标签： java json 开发语言

本文链接：https://blog.csdn.net/ProZuoy/article/details/130432118

版权

/**
 * 雪花算法生成分布式唯一ID
 */
public class Snowflake {
    private long datacenterId; // 数据中心ID
    private long machineId;  // 机器标识ID
    private long sequence; // 序列号
    private long lastStamp; // 上一次时间戳

    // 雪花算法参数
    private final static long datacenterIdBits = 5L; // 数据中心ID所占位数
    private final static long machineIdBits = 5L; // 机器标识ID所占位数
    private final static long sequenceBits = 12L; // 序列号所占位数
    private final static long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); // 最大数据中心ID
    private final static long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器标识ID
    private final static long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码
    private final static long epoch = 1661932800000L; // 这里指定了一个固定的起始时间戳(从2015-01-01 00:00:00开始)

    public Snowflake(long datacenterId, long machineId) {
        if (datacenterId > maxDatacenterId || datacenterId < 0) { // 判断数据中心ID的有效性
            throw new IllegalArgumentException("Datacenter Id can't be greater than " + maxDatacenterId + " or less than 0");
        }
        if (machineId > maxMachineId || machineId < 0) { // 判断机器标识ID的有效性
            throw new IllegalArgumentException("Machine Id can't be greater than " + maxMachineId + " or less than 0");
        }
        this.datacenterId = datacenterId;
        this.machineId = machineId;
        this.sequence = 0L;
        this.lastStamp = -1L;
    }

    /**
     * 生成下一个ID
     *
     * @return long
     */
    public synchronized long nextId() {
        long currStamp = getNow(); // 获取现在的时间戳
        if (currStamp < lastStamp) { // 如果当前时间小于上一次时间戳，则抛出异常
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }
        if (currStamp == lastStamp) { // 如果当前时间等于上一次时间戳，则序列号+1
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) { // 如果序列号达到最大值，则等待下一个时间戳
                currStamp = getNextMillis(lastStamp);
            }
        } else { // 如果当前时间大于上一次时间戳，则序列号被重置
            sequence = 0L;
        }
        lastStamp = currStamp; // 保存当前时间戳

        // 生成ID，ID共64位，其中41位为时间戳，5位为数据中心ID，5位为机器标识ID，12位为序列号
        return (currStamp - epoch) << (datacenterIdBits + machineIdBits + sequenceBits)
                | (datacenterId << (machineIdBits + sequenceBits))
                | (machineId << sequenceBits)
                | sequence;
    }

    private long getNextMillis(long lastStamp) {
        long currMillis = getNow(); // 获取现在的时间戳
        while (currMillis <= lastStamp) { // 如果当前时间小于等于上一次时间戳，则一直循环等待新的时间戳
            currMillis = getNow();
        }
        return currMillis;
    }

    private long getNow() {
        return System.currentTimeMillis(); // 获取当前时间戳
    }

}

话不多说上代码

该如何使用

将该类放置在你的 Java 项目源代码目录中；

创建 Snowflake 实例，并传入数据中心ID和机器标识ID：

Snowflake snowflake = new Snowflake(1, 1);

调用 nextId() 方法生成下一个ID：

long id = snowflake.nextId();

将生成的ID用作你的业务对象ID，可以使用 long 类型存储。

User user = new User(id, "Alice");

在使用时，需要确保数据中心ID和机器标识ID是唯一的，以避免生成重复的ID。通常情况下，可以将数据中心ID和机器标识ID存储在配置文件中，并分配给不同的服务器使用。

什么时候使用雪花算法

在分布式系统中，有时候需要生成唯一的ID作为业务对象的标识。传统的数据库自增ID虽然简单高效，但是在分布式系统中，由于数据存储在不同结点上，需要通过网络传输和同步才能保证ID的唯一性，会增加系统的复杂度和延迟。

雪花算法是一种高效且具备唯一性的ID生成算法，具有以下优点：

唯一性：雪花算法能够生成唯一的ID，避免了数据库自增ID需要进行网络传输和同步的复杂操作，提高了系统性能和稳定性。
分布式ID：雪花算法可以轻松实现在分布式系统中生成唯一ID，不依赖于中央节点或数据库，方便水平扩展。
时间有序性：雪花算法生成的ID的高位部分是时间戳，因此在一定程度上保证了ID之间的时间有序性。时间有序性的优点在于便于业务计算、分页和排序等操作。

在分布式系统中，如果需要生成唯一的ID，可以考虑使用雪花算法。常见的应用场景包括：分布式网站、分布式系统、消息中间件以及各种分布式存储系统等。

雪花算法的缺点

雪花算法是一种高效且具备唯一性的ID生成算法，但其也有着一些缺点：

长度限制：由于雪花算法生成的ID包括时间戳、数据中心ID、机器标识ID和序列号等多个字段，其长度较长，可能会导致一些数据类型无法保存或传输。例如，在部分数据库中，自增ID只支持32位整数，而雪花算法生成的ID是64位长整数。
依赖机器时钟：雪花算法的生成过程依赖于机器的时钟，如果时钟回拨或不稳定，可能会导致生成重复的ID。尽管雪花算法的实现中考虑了时钟回拨的情况，但仍需要保证机器时钟的稳定性和正确性。
约定标准：雪花算法生成的ID的格式没有特定的标准，不同的实现可能存在差异。在不同的系统之间交换ID时，需要对其格式和含义进行协商约定，才能确保其正确性和唯一性。
可能存在冷启动问题：雪花算法生成的ID的时间戳部分精确到毫秒级别，如果算法刚部署或草刚启动时，可能出现时间戳重复的问题，导致生成重复的ID。

针对雪花算法的缺点，可以考虑以下优化方法：

减少ID长度限制：可以通过缩减某些字段的长度或压缩ID的表示方式等方式来减少ID的长度限制。例如，可以将数据中心ID和机器标识ID共同存储在一个32位整数中，同时压缩时间戳和序列号的表示方式。
解决机器时钟问题：可以通过使用NTP或其他时钟同步服务，以及更准确的时钟源（如高精度时钟源），来保证机器时钟的稳定性和正确性，降低时钟回拨或漂移的风险，减少重复ID的出现。
定义标准格式：可以定义统一的ID生成规范和格式，以便不同实现之间进行数据交换和协同开发。例如，在ID格式中定义特定字段的顺序和含义，避免ID格式差异化对系统造成的不确定因素。
解决冷启动问题：可以使用预热的方式进行ID生成，例如通过预生成一定数量的ID，然后再启动服务时加载到内存中，确保ID序列的不间断性和唯一性。

雪花算法生成ID传到前端之后精度丢失问题

雪花算法生成的ID是一个64位的长整型数值，在传递到前端或其他系统时，可能会出现精度丢失的问题。这是因为前端或其他系统中通常只支持特定的数据类型或数值范围，不能完整表达和存储64位的长整型数据。

分割ID：将64位的长整型ID分割成两部分，例如将高32位和低32位分别传递给前端或其他系统。接收方可以将两部分重新组合成长整型ID，以便在后续业务计算中使用。这种方法需要约定好前后端的数据类型和传输方式，以确保ID的准确性和可用性。
使用UUID：如果ID不一定需要按时间顺序编号，则可以考虑使用其他唯一识别码，例如UUID（通用唯一识别码）。UUID由128位二进制数组成，可以转换为字符串进行传输和存储，在不同系统之间保持唯一性和可用性。但是使用UUID会额外增加存储空间和传输成本，需要根据具体情况选择是否使用。
转换码：将64位长整型ID转换为其他数据类型或编码方式，例如32位的十六进制字符串或Base64编码。这可以方便在前端或其他系统中存储和传输ID，并避免精度丢失的问题。但要注意约定编码方式，以方便后续业务计算和系统使用。

解决办法一：直接使用@JsonSerialize注解

public class Post{
    @ApiModelProperty(value = "雪花ID")
    @JsonSerialize(using = ToStringSerializer.class)
    private Long SnowId;
    ...  
}

解决办法二：全局配置

@Configuration
@EnableWebMvc
public class WebMvcConfig implements WebMvcConfigurer {
	@Override
    public void configureMessageConverters(List<HttpMessageConverter<?>> converters) {
        MappingJackson2HttpMessageConverter jackson2HttpMessageConverter = new MappingJackson2HttpMessageConverter();
        ObjectMapper objectMapper = new ObjectMapper();
        // 全局配置序列化返回 JSON 处理
        SimpleModule simpleModule = new SimpleModule();
        // JSON Long ==> String  将所有的 Long类型 转换成 String类型 返回 
        simpleModule.addSerializer(Long.class, ToStringSerializer.instance);
        objectMapper.registerModule(simpleModule);
        jackson2HttpMessageConverter.setObjectMapper(objectMapper);
        converters.add(jackson2HttpMessageConverter);
    }
}