【Web_数据库自动化_雪花算法_分布式批量生成不重复的唯一ID】Snowflake&&pysnowflake，通过python实现雪花算法，生成唯一ID值，常用于数据准备阶段。

铜锣烧1号

已于 2024-03-11 16:52:20 修改

阅读量1.3k

点赞数

分类专栏：接口测试文章标签：数据库自动化分布式软件测试

于 2023-03-31 14:33:53 首次发布

本文链接：https://blog.csdn.net/denzeleo/article/details/129878837

版权

接口测试专栏收录该内容

30 篇文章 1 订阅

订阅专栏

参考文章：https://www.cnblogs.com/oklizz/p/11865750.html

一、什么是雪花算法

雪花算法（Snowflake）是一种分布式唯一ID生成算法，它可以生成全局唯一、趋势递增的64位ID。该算法最初由Twitter公司开发，用于生成Twitter的全局唯一ID。

二、雪花算法的作用。

核心的目的：分布式系统中全局唯一ID的生成
生成的原理：
生成的逻辑：
1 bit：一般是符号位，不做处理。
41bit : 用来记录时间戳，这里可以记录69年，如果设置好起始时间，比如今年是 2022 ，那么可以用到 2091 年，到时候怎么办，这个系统要是能够使用 69 年，估计系统早已经优化过很多次了。
10bit : 用来记录机器ID,总共可以记录1024台机器，一般用前5位代表数据中心，后面5位是某个数据中心的机器ID。(注：位数可以根据情况进行设定。)
12bit：循环用来对同一个毫秒内产生的不同的 ID,12位可以最多记录4095（212-1）次，多余的需要在下一毫秒进行处理。
生成的作用：
雪花算法的作用和意义在于，为分布式系统中的各种数据对象（如消息、事件、日志等）生成全局唯一的ID。这些ID可以通过时间戳的方式粗略地保证唯一性，同时也可以通过特定的位数来指定不同的业务类型。这样一来，不同节点之间就可以无需协调地生成全局唯一ID，从而提高系统的扩展性、并行性以及可靠性。

三、雪花算法的场景：

雪花算法在分布式系统中的应用场景。
分析雪花算法在提高系统扩展、并行性和可靠性方面的作用和意义。
展示实际应用举例，如Twitter等公司如何利用雪花算法生成唯一ID。

四、雪花算法的优点在于：

高效：雪花算法使用简单，计算速度快，可以轻松地嵌入到各种语言和框架中，支持高并发场景下的ID生成。
全局唯一：雪花算法生成的ID是全局唯一的，不需要复杂的协调机制，可以方便地应用于分布式系统中。
趋势递增：雪花算法生成的ID按照时间戳递增排序，方便对数据进行排序和查询。
可配置性：雪花算法支持根据需求自定义位数，可以支持多种应用场景。

五、但是雪花算法也有一些缺点：

依赖于系统时钟：雪花算法的ID生成依赖于系统时钟，如果系统时钟回拨或者发生调整，可能会导致生成的ID不唯一或趋势逆序。
可读性差：由于雪花算法生成的ID是64位的数字，对人类来说比较难以理解和记忆。

总体来说，雪花算法是一种简单、高效、可扩展的分布式唯一ID生成算法，在分布式系统中广泛应用。但是需要注意的是，在使用时要注意系统时钟同步以及生成的ID长度适当。

六、通过python实现雪花算法

#!/usr/bin/env/python3
# -*- coding:utf-8 -*-
import time
import logging
# from exceptions import InvalidSystemClock # 继承的Excpetion即可。

# 64 位 id 的划分,通常机器位和数据位各为 5 位
WORKER_ID_BITS = 5 # 机器位
DATACENTER_ID_BITS = 5 # 数据位
SEQUENCE_BITS = 12 # 循环位

# 最大取值计算,计算机中负数表示为他的补码
MAX_WORKER_ID = -1^(-1 << WORKER_ID_BITS) # 2**5 -1 =31
MAX_DATACENTER_ID = -1 ^(-1 << DATACENTER_ID_BITS)

# 移位偏移计算
WORKER_ID_SHIFT = SEQUENCE_BITS
DATACENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS
TIMESTAMP_LEFT_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATACENTER_ID_BITS

# X序号循环掩码
SEQUENCE_MASK = -1^(-1 << SEQUENCE_BITS)

# Twitter 元年时间戳
TWEPOCH = 1288834974657

logger = logging.getLogger('雪花算法')

class IdWorker(object):
    '''
    用于生成IDS.
    '''

    def __init__(self,datacenter_id,worker_id,sequence=0):
        '''
        初始化方法
        :param datacenter_id:数据id
        :param worker_id:机器id
        :param sequence:序列码
        '''
        if worker_id > MAX_WORKER_ID or worker_id <0:
            raise ValueError('worker_id 值越界')
        if datacenter_id >MAX_DATACENTER_ID or datacenter_id < 0:
            raise ValueError('datacenter_id 值越界')

        self.worker_id = worker_id
        self.datacenter_id = datacenter_id
        self.sequence = sequence

        self.last_timestamp = -1 # 上次计算的时间戳

    def _gen_timestamp(self):
        '''
        生成整数时间戳。
        :return:
        '''
        return int(time.time()*1000)

    def get_id(self):
        '''
        获取新的ID.
        :return:
        '''
        # 获取当前时间戳
        timestamp = self._gen_timestamp()

        # 时钟回拨的情况
        if timestamp < self.last_timestamp:
            logging.error('clock is moving backwards. Rejecting requests util {}'.format(self.last_timestamp))
            # raise InvalidSystemClock


        if timestamp == self.last_timestamp:
            # 同一毫秒的处理。
            self.sequence = (self.sequence+1) & SEQUENCE_MASK
            if self.sequence == 0:
                timestamp =self._til_next_millis(self.last_timestamp)
        else:
            self.sequence = 0

        self.last_timestamp =timestamp

        new_id = (((timestamp - TWEPOCH) << TIMESTAMP_LEFT_SHIFT)|(self.datacenter_id << DATACENTER_ID_SHIFT)|(self.worker_id << WORKER_ID_SHIFT))|self.sequence
        return new_id


    def _til_next_millis(self,last_timestamp):
        '''
        等到下一毫秒。
        :param last_timestamp:
        :return:
        '''
        timestamp = self._gen_timestamp()
        while timestamp <= last_timestamp:
            timestamp = self._gen_timestamp()
        return timestamp

if __name__ == '__main__':
    # worker = IdWorker(1,2,0)
    # print(worker.get_id())

七、通过python第三方库生成雪花id

class lib_snowflake():
    def __init__(self):
        pass

    def create_id(self):
        # pip install pysnowflake
        # cmd启动服务：snowflake_start_server --worker=1
        from snowflake import client
        print(client.get_guid())


if __name__ == '__main__':
    lib_snowflake().create_id()