snowFlake雪花算法学习

最新推荐文章于 2023-10-08 11:55:16 发布

xxz_phoebe

最新推荐文章于 2023-10-08 11:55:16 发布

阅读量530

点赞数

分类专栏： java 数据结构及算法

本文链接：https://blog.csdn.net/Alice_qixin/article/details/104279902

版权

java 同时被 2 个专栏收录

49 篇文章 0 订阅

订阅专栏

数据结构及算法

5 篇文章 0 订阅

订阅专栏

部分转载自小灰程序员：https://blog.csdn.net/bjweimengshu/article/details/80162731
部分原文链接：https://blog.csdn.net/lq18050010830/article/details/89845790

引导：

一、如何在分布式集群当中生成全局唯一ID?

第一种解决方式：通过UUID生成全局唯一ID

第二种解决方式：依赖数据库自增主键实现

第三种解决方式：利用snowFlake算法

二、snowFlake

三、SnowFlake的代码实现

引导：

一、如何在分布式集群当中生成全局唯一ID?

第一种解决方式：通过UUID生成全局唯一ID

UUID是通用唯一识别码 (Universally Unique Identifier)，在其他语言中也叫GUID，可以生成一个长度32位的全局唯一识别码。

String uuid = UUID.randomUUID().toString()

结果示例：046b6c7f-0b8a-43b9-b35d-6489e6daee91

解析：通过UUID是可以解决分布式集群中生成全局唯一ID，但是带来了一个新的问题占位32位太长，并且是无序的，入库时性能比较差

入库性能差的原因：

关系型数据库的索引大都是B+树的结构，拿ID字段来举例，索引树的每一个节点都存储着若干个ID。

如果我们的ID按递增的顺序来插入，比如陆续插入8，9，10，新的ID都只会插入到最后一个节点当中。当最后一个节点满了，会裂变出新的节点。这样的插入是性能比较高的插入，因为这样节点的分裂次数最少，而且充分利用了每一个节点的空间。

如果我们的插入完全无序，不但会导致一些中间节点产生分裂，也会白白创造出很多不饱和的节点，这样大大降低了数据库插入的性能。

第二种解决方式：依赖数据库自增主键实现

为了提高性能，在分布式系统中可以用DB proxy请求不同的分库，每个分库设置不同的初始值，步长和分库数量相等：

这样一来，DB1生成的ID是1,4,7,10,13....，DB2生成的ID是2,5,8,11,14.....

解析：ID的生成对数据库依赖严重、不但影响性能，一旦数据库挂掉服务将变得不可用。

第三种解决方式：利用snowFlake算法

snowFlake是Twitter公司采用的一种算法，目的是在分布式系统中生成全局唯一且趋势递增的ID、应用场景高性能的产生不重复ID，支持集群的横向扩展

二、snowFlake

snowflake算法所生成的ID结构是什么样子呢？我们来看看下图

- 其核心思想就是：

　　　　- 使用一个 64 bit 的 long 型的数字作为全局唯一 id。

　　　　- 在分布式系统中的应用十分广泛，且ID 引入了时间戳，基本上保持自增的。

- 产生公式

　　　　- 形成 64位bit

SnowFlake所生成的ID一共分成四部分：

1.第一位

占用1bit，其值始终是0，没有实际作用。

（ps:因为二进制里第一个 bit 为如果是 1，那么都是负数，但是我们生成的 id 都是正数，所以第一个 bit 统一都是 0。）

2.时间戳

占用41bit，表示的是时间戳，精确到毫秒，总共可以容纳约140年的时间。

（41 bit 可以表示的数字多达 2^41 - 1，也就是可以标识 2 ^ 41 - 1 个毫秒值。）

3.工作机器id

占用10bit，其中高位5bit是数据中心ID（datacenterId）（表示的是机房 id，10001），低位5bit是工作节点ID（workerId）（表示的是机器 id，1 1001），做多可以容纳1024个节点。

（5 个 bit 代表机房 id，5 个 bit 代表机器 id。意思就是最多代表 2 ^ 5 个机房（32 个机房），每个机房里可以代表 2 ^ 5 个机器（32 台机器）。）

4.序列号

占用12bit，表示的序号，就是某个机房某台机器上这一毫秒内同时生成的 id 的序号，0000 00000000。

这个值在同一毫秒同一节点上从0开始不断累加，最多可以累加到4095。

（12 bit 可以代表的最大正整数是 2 ^ 12 - 1 = 4096）

SnowFlake算法在同一毫秒内最多可以生成多少个全局唯一ID呢？只需要做一个简单的乘法：

同一毫秒的ID数量 = 1024 X 4096 = 4194304 这个数字在绝大多数并发场景下都是够用的

SnowFlake算法的优点：

1.生成ID时不依赖于DB，完全在内存生成，高性能高可用。

2.ID呈趋势递增，后续插入索引树的时候性能较好。

SnowFlake算法的缺点：

依赖于系统时钟的一致性。如果某台机器的系统时钟回拨，有可能造成ID冲突，或者ID乱序。

三、SnowFlake的代码实现

简单来说，你的某个服务假设要生成一个全局唯一 id，那么就可以发送一个请求给部署了 SnowFlake 算法的系统，由这个 SnowFlake 算法系统来生成唯一 id。

这个 SnowFlake 算法系统首先肯定是知道自己所在的机房和机器的，比如机房 id = 17，机器 id = 12。

接着 SnowFlake 算法系统接收到这个请求之后，首先就会用二进制位运算的方式生成一个 64 bit 的 long 型 id，64 个 bit 中的第一个 bit 是无意义的。

接着 41 个 bit，就可以用当前时间戳（单位到毫秒），然后接着 5 个 bit 设置上这个机房 id，还有 5 个 bit 设置上机器 id。

最后再判断一下，当前这台机房的这台机器上这一毫秒内，这是第几个请求，给这次生成 id 的请求累加一个序号，作为最后的 12 个 bit。


public class SnowFlake {
    /**
     * 开始时间截 (2015-01-01)
     */
    private final long twepoch = 1420041600000L;

    /**
     * 机器id所占的位数
     */
    private final long workerIdBits = 5L;

    /**
     * 数据标识id所占的位数
     */
    private final long dataCenterIdBits = 5L;

    /**
     * 支持的最大机器id，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
     */
    private final long maxWorkerId = ~(-1L << workerIdBits);

    /**
     * 支持的最大数据标识id，结果是31
     */
    private final long maxDataCenterId = ~(-1L << dataCenterIdBits);

    /**
     * 序列在id中占的位数
     */
    private final long sequenceBits = 12L;

    /**
     * 机器ID向左移12位
     */
    private final long workerIdShift = sequenceBits;

    /**
     * 数据标识id向左移17位(12+5)
     */
    private final long dataCenterIdShift = sequenceBits + workerIdBits;

    /**
     * 时间截向左移22位(5+5+12)
     */
    private final long timestampLeftShift = sequenceBits + workerIdBits + dataCenterIdBits;

    /**
     *
     * 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095)
     */
    private final long sequenceMask = ~(-1L << sequenceBits);

    /**
     * 工作机器ID(0~31)
     */
    private volatile long workerId;

    /**
     * 数据中心ID(0~31)
     */
    private volatile long dataCenterId;

    /**
     * 毫秒内序列(0~4095)
     */
    private volatile long sequence = 0L;

    /**
     * 上次生成ID的时间截
     */
    private volatile long lastTimestamp = -1L;

    //==============================Constructors=====================================

    /**
     * 构造函数
     *
     * @param workerId     工作ID (0~31)
     * @param dataCenterId 数据中心ID (0~31)
     */

    public SnowFlake(long workerId, long dataCenterId) {
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (dataCenterId > maxDataCenterId || dataCenterId < 0) {
            throw new IllegalArgumentException(String.format("dataCenter Id can't be greater than %d or less than 0", maxDataCenterId));
        }
        this.workerId = workerId;
        this.dataCenterId = dataCenterId;
    }

    // ==============================Methods==========================================

    /**
     * 获得下一个ID (该方法是线程安全的)
     *  如果一个线程反复获取Synchronized锁，那么synchronized锁将变成偏向锁。
     * @return SnowflakeId
     */
    public synchronized long nextId() throws RuntimeException {
        long timestamp = timeGen();

        //如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常
        if (timestamp < lastTimestamp) {
            throw new RuntimeException((String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp)));

        }

        //如果是同一时间生成的，则进行毫秒内序列
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & sequenceMask;
            //毫秒内序列溢出
            if (sequence == 0) {
                //阻塞到下一个毫秒,获得新的时间戳
                timestamp = tilNextMillis(lastTimestamp);
            }
        }
        //时间戳改变，毫秒内序列重置
        else {
            sequence = 0L;
        }

        //上次生成ID的时间截
        lastTimestamp = timestamp;

        //移位并通过或运算拼到一起组成64位的ID
        return ((timestamp - twepoch) << timestampLeftShift)
                | (dataCenterId << dataCenterIdShift)
                | (workerId << workerIdShift)
                | sequence;
    }

    /**
     * 阻塞到下一个毫秒，直到获得新的时间戳
     *
     * @param lastTimestamp 上次生成ID的时间截
     * @return 当前时间戳
     */
    private long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    /**
     * 返回以毫秒为单位的当前时间
     *
     * @return 当前时间(毫秒)
     */
    private long timeGen() {
        return System.currentTimeMillis();
    }


}

xxz_phoebe

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
snowFlake雪花算法学习

部分转载自小灰程序员：https://blog.csdn.net/bjweimengshu/article/details/80162731部分原文链接：https://blog.csdn.net/lq18050010830/article/details/89845790引导：一、如何在分布式集群当中生成全局唯一ID?第一种解决方式：通过UUID生成全局唯一IDUUID是通用...
复制链接

扫一扫