分布式Unique ID的生成方法一览

最新推荐文章于 2024-08-27 07:21:05 发布
最新推荐文章于 2024-08-27 07:21:05 发布
阅读量592 收藏
点赞数
分类专栏： JAVA 文章标签： 分布式 unqiue id
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sh_c1991/article/details/53106734
版权
本文探讨了在分布式环境中生成唯一ID的各种方法，包括基于发号器的Oracle自增ID、UUID的不同版本（如version1和version4）、Hibernate和MongoDB的实现变种，以及Twitter的Snowflake派号器。每种方法都有其特定的设计考虑，如时间戳、自增序列、机器和进程标识等，以确保ID的唯一性。文章还提出了在不使用派号器的情况下，如何将128位的UUID压缩到64位的Long类型的挑战及其解决方案。
摘要由CSDN通过智能技术生成

来源：江南白衣

链接：calvin1978.blogcn.com/articles/uuid.html

分布式的Unique ID的用途如此广泛，从业务对象Id到日志的TraceId，本文总结了林林总总的各种生成算法。


1. 发号器


我接触的最早的Unique ID，就是Oracle的自增ID。


特点是准连续的自增数字，为什么说是准连续？因为性能考虑，每个Client一次会领20个ID回去慢慢用，用完了再来拿。另一个Client过来，拿的就是另外20个ID了。


新浪微博里，Tim用Redis做相同的事情，Incr一下拿一批ID回去。如果有多个数据中心，那就拿高位的几个bit来区分。


只要舍得在总架构里增加额外Redis带来的复杂度，一个64bit的long就够表达了，而且不可能有重复ID。


批量是关键，否则每个ID都远程调用一次谁也吃不消。


2. UUID


Universally Unique IDentifier(UUID)，有着正儿八经的RFC规范，是一个128bit的数字，也可以表现为32个16进制的字符，中间用”-”分割。


- 时间戳＋UUID版本号，分三段占16个字符(60bit+4bit)，

最低0.47元/天 解锁文章
Fernando的十年
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式系统？分布式事务？秒杀设计思路！
07-31 841
什么是分布式？ 分布式更多的一个概念，是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段。 该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式文件系统、分布式缓存、分布式数据库、分布式计算等，一些名词如Hadoop、zookeeper、MQ等都跟分布式有关。 从理念上讲，分布式的实现有两种形式： 水平扩展： 当一台机器扛不住流量时，就通过添加机器的方式，将流量平分到所有服务器上，所有机器都可以提供相当的服务； 垂直拆分： 前端有多种查询需求时，一台机器扛不住，可以将不同的需求分发到
xxljob从入门到精通-全网段最全解说
热门推荐
lifetragedy的专栏
06-05 1万+
XXL-JOB特性一览 基本概念 xxljob解决的是以下几个痛点： 1） 跑批处理监控无法可视化，当前跑批的状态是：成功？失败？挂起？进度？为什么失败/原因？ 2）批处理任务不可重用，特别是无法对批处理任务做：定时？重复使用？频次？其中路由调度？ 3）批处理任务无法做到网格计算（特别像：websphere ibm grid computing）即批处理任务本身可以做成集群、fail over、sharding 由其是批处理任务可以做成“网格计算”这个功能，有了xxljob后你会发觉特别强大
分布式系统唯一ID生成
EricGogh的专栏
12-18 3494
转载至：http://darktea.github.io/notes/2013/12/08/Unique-ID 本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID 一, 问题描述 在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID? 在单机系统中 (例如一个 MySQL 实例
redis mysql 生成序列_分布式UniqueID的生成方法一览
weixin_33186395的博客
01-30 204
本文选自《开发者头条》1 月 26 日最受欢迎文章 Top 3，感谢作者 @江南白衣Calvin 分享。欢迎分享：http://toutiao.io/contribute分布式的Unique ID的用途如此广泛，从业务对象Id到日志的TraceId，本文总结了林林总总的各种生成算法。1. 发号器我接触的最早的Unique ID，就是Oracle的自增ID。特点是准连续的自增数字，为什么说是准连续？...
服务化框架－分布式Unique ID的生成方法一览
qq_39558626的博客
07-23 849
分布式的Unique ID的用途如此广泛，从业务对象Id到服务化体系里分布式调用链的TraceId，本文总结了林林总总的各种生成算法。 对于UID的要求，一乐那篇《业务系统需要什么样的ID生成器》的提法很好： 唯一性，时间相关，粗略有序，可反解，可制造。   1. 发号器 我接触的最早的Unique ID，就是Oracle的Sequence。 特点是准连续的自增数
分布式系统中 Unique ID 的生成方法
Code-lover's Learning Notes
12-18 1723
一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存在多个 Shards 的分布式系统 (例如多个 MySQL 实例组成一个集群, 在这个集群中插入数据)
基于LSM-Tree 的分布式组件化 KV 存储系统 | DB·洞见回顾
weixin_43872058的博客
05-13 752
随着云服务基础架构以及微服务技术的日益成熟，很多大型系统能够分解为根据应用 workload 需求的多个子系统，再通过网络交互组装在一起协同工作。 Nova-LSM，一个将基于LSM-Tree的分布式KV 存储系统分解为使用RDMA进行通信的组件的工作。这些组件将存储与处理分开，使处理组件能够共享存储带宽和空间。处理组件将文件块 (SSTable) 分散到任意数量的存储组件中，并通过一定机制平衡它们之间的负载，在运行时动态构建范围以并行化压缩并提高性能。Nova-LSM 具有很好的可伸缩性，在一些场景下性能
Oracle错误一览表1
DoubleJing的博客
06-10 323
ORA-00001: 违反唯一约束条件 (.) ORA-00017: 请求会话以设置跟踪事件 ORA-00018: 超出最大会话数 ORA-00019: 超出最大会话许可数 ORA-00020: 超出最大进程数 () ORA-00021: 会话附属于其它某些进程；无法转换会话 ORA-00022: 无效的会话 ID；访问被拒绝 ORA-00023: 会话引用进程私用内存；无法分离会话 ORA-00024: 单一进程模式下不允许从多个进程注册 ORA-00025: 无法分配 ORA-00
常用的分布式唯一ID生成方案
china0551021的博客
08-03 253
全局唯一ID使用场景 分布式系统设计时，数据分片场景下，通常需要一个全局唯一id； 在消息系统中需要消息唯一ID标识来防止消息重复； 多系统打通需要一个全局唯一标识 （如集团各业务线面对不同用户，需要一个全局用户id）。 如何生成一个全局唯一id？或者说设计一个ID发号器呢？ 常用如下几种方式： 1、UUID Universally Unique Identifier 是自由软件基金会组织制定的唯一辨识ID生成标准，大多数系统已实现，如微软的GUID实现。 生成格式如：3d422567-f0
UUID的压缩
weixin_34403693的博客
11-03 1397
概述 UUID，通用唯一识别码（Universally Unique Identifier）。UUID的目的是让分布式系统中的所有元素都能有唯一的辨识信息，而不需要透过中央控制端来做辨识信息的指定。UUID的标准型式包含32个16进制数字，以连字号分为五段，形式为8-4-4-4-12的32个字符。示例： 550e8400-e29b-41d4-a716-4...
唯一ID(UniqueID)生成算法 解析
末小渝的博客
05-19 1万+
本文详细阐述唯一ID生成器算法GuidCombGenerator和SnowflakeGenerator。GuidCombGenerator用于生成字符串UID，SnowflakeGenerator用于生成数值UID。
生成唯一序列号 Unique ID
无止于天涯 - Always on the Road
02-01 1万+
程序取号的锁竞争和网络延迟是不可避免的，所以最理想的Unique ID策略还是本地生成：把发号器内嵌到每个程序中，同时保证生成标准的同步。
Base64压缩UUID长度替换Hibernate原有UUID生成器
sundaytok的专栏
10-31 1900
1、背景 在采用Hibernate做对象映射时，我一直都采用UUID来做主键。由于Hibernate的UUID需要占用32位的字符，所以一般都会让人感觉响效率且增加存储占用。 我在查看公司项目时发现了一种比较好的生成UUID的方法，就是将UUID数据进行Base64化。觉得比较有意义拿出来给大家分享。 2、传统UUID a、java.util.UUID（RFC 41
UUID短码转换器： mgrajcarek/uuid-shortener 快速指南
最新发布
gitblog_00416的博客
08-27 579
UUID短码转换器： mgrajcarek/uuid-shortener 快速指南 uuid-shortenerA simple RFC 4122 UUID shortener library. Change your 36 chars long ID into it's shorter equivalent.项目地址:https://gitcode.com/gh_mirrors/uu/uuid...
zookeeper实现分布式唯一id
HX_2021
08-04 848
在过去的单库单表型系统中，通常第可以使用数据库字段自带的auto_ increment属性来自动为每条记录生成个唯一的ID。但是分库分表后，就无法在依靠数据库的auto_ increment属性来唯一标识一条记录了。此时我们就可以用zookeeper在分布式环境下生成全局唯一ID。 设计思路： 连接zookeeper服务器； 指定路径生成临时有序节点； 取序列号及为分布式环境下的唯一ID。 public class IdGenerate { // zk的连接串 private static
推荐一个雪花算法中非常好用的数字ID生成器
What If...
07-16 1477
IdGenerator是一款基于Snowflake算法的高性能唯一数字ID生成器，适用于分布式系统中的ID生成。IdGenerator优化的雪花算法—雪花漂移算法，在缩短ID长度的同时，具备极高瞬时并发处理能力（50W/0.1s）。IdGenerator原生支持 C#/Java/Go/Rust/C/JavaScript/TypeScript/Python/Pascal 多语言，提供适用于其它语言的多线程安全调用动态库（FFI）。支持容器环境自动扩容（自动注册 WorkerId ），单机或分布式唯一IdGen
分布式系统生成唯一ID的几种方式
li-zhang-yu的博客
06-20 2965
一：分布式系统生成唯一ID的几种方式
分布式的ID生成算法java代码
09-21
### 回答1： 分布式ID生成算法是一种特殊的哈希算法，它可以使用Java代码来生成一个唯一的、全局递增的ID，这样可以避免ID发生重复。下面是一段可以用来生成分布式ID的Java代码： public static long generateId() { long currentTime = System.currentTimeMillis(); long nextId = (currentTime << 8) + getRandomNumber(0, 255); return nextId; }private static int getRandomNumber(int min, int max) { Random random = new Random(); return random.nextInt((max - min) + 1) + min; } ### 回答2： 分布式的ID生成算法在分布式系统中非常重要，用于生成唯一的标识符。Java语言提供了很多方法来实现这一目标，下面是一个使用Snowflake算法生成分布式ID的示例代码： ```java public class DistributedIdGenerator { private static final long EPOCH = 1609459200000L; // 自定义起始时间点，用于减小ID长度 private long workerId; private long sequence = 0L; private long lastTimestamp = -1L; public DistributedIdGenerator(long workerId) { if (workerId < 0L || workerId > 1023L) { throw new IllegalArgumentException("Worker ID must be between 0 and 1023."); } this.workerId = workerId; } public synchronized long generateId() { long currentTimestamp = System.currentTimeMillis(); if (currentTimestamp < lastTimestamp) { throw new RuntimeException("Clock moved backwards. Refusing to generate ID."); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1) & 4095; // 用位运算保证sequence不超过12位 if (sequence == 0) { currentTimestamp = nextMillis(lastTimestamp); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return ((currentTimestamp - EPOCH) << 22) | (workerId << 12) | sequence; } private long nextMillis(long lastTimestamp) { long timestamp = System.currentTimeMillis(); while (timestamp <= lastTimestamp) { timestamp = System.currentTimeMillis(); } return timestamp; } } ``` 上述代码中，使用Snowflake算法生成分布式ID。在构造方法中，传入一个workerId用于区分不同的分布式节点。generateId()方法加入了线程同步，在不同线程调用时可以保证生成的ID唯一性。生成的ID由三部分组成，即时间戳、worker ID和序列号。使用位运算进行位移和操作，保证ID的长度以及每个部分的取值范围。在运行过程中，如果发现系统的时间比上一次生成ID时的时间回退了，会抛出异常。如果当前时间戳与上一次相等，则增加序列号，否则重置序列号为0。返回的ID可以用于唯一标识分布式系统中的不同实体。 ### 回答3： 分布式的ID生成算法是为了解决多个节点之间生成唯一ID的问题。一个常见的分布式ID生成算法是Snowflake算法。 Snowflake算法是Twitter提出的一种算法，通过结合时间戳、机器ID和序列号来生成唯一的ID。下面是一个使用Java语言实现的简单示例代码： public class SnowflakeIdGenerator { private final long startTimeStamp = 1566769200000L; // 设置起始时间戳，例如2019-08-26 00:00:00 private final long machineIdBits = 5L; // 机器ID所占位数 private final long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器ID private final long sequenceBits = 12L; // 序列号所占位数 private final long machineIdShift = sequenceBits; // 机器ID左移位数 private final long timestampShift = sequenceBits + machineIdBits; // 时间戳左移位数 private final long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码 private long lastTimeStamp = -1L; private long sequenceId = 0L; private long machineId; public SnowflakeIdGenerator(long machineId) { if (machineId < 0 || machineId > maxMachineId) { throw new IllegalArgumentException("Invalid machineId. It must be between 0 and " + maxMachineId); } this.machineId = machineId; } public synchronized long generateId() { long currentTimeStamp = System.currentTimeMillis(); if (currentTimeStamp < lastTimeStamp) { throw new RuntimeException("Invalid system clock. Current timestamp is less than last timestamp."); } if (currentTimeStamp == lastTimeStamp) { sequenceId = (sequenceId + 1) & sequenceMask; if (sequenceId == 0) { currentTimeStamp = getNextTimeStamp(); } } else { sequenceId = 0L; } lastTimeStamp = currentTimeStamp; return ((currentTimeStamp - startTimeStamp) << timestampShift) | (machineId << machineIdShift) | sequenceId; } private long getNextTimeStamp() { long timeStamp = System.currentTimeMillis(); while (timeStamp <= lastTimeStamp) { timeStamp = System.currentTimeMillis(); } return timeStamp; } } 在使用时，可以创建一个SnowflakeIdGenerator对象，并传入机器ID，然后调用generateId()方法即可生成一个唯一的ID。例如： public class Main { public static void main(String[] args) { SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1); // 创建一个机器ID为1的ID生成器 long id = idGenerator.generateId(); // 生成唯一ID System.out.println(id); } } 这样就可以得到一个分布式环境下唯一的ID了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值