分布式ID的雪花算法及坑

最新推荐文章于 2024-07-10 13:12:37 发布
最新推荐文章于 2024-07-10 13:12:37 发布
阅读量951 收藏
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42500220/article/details/109283731
版权

分布式ID的雪花算法及坑

分布式ID生成是目前系统的常见刚需，其中以Twitter的雪花算法（Snowflake）比较知名，有Java等各种语言的版本及各种改进版本，能生成满足分布式ID，返回ID为Long长整数

但是这里有一个坑，雪花算法产生的长整数的精度可能超过javascript能表达的精度，这会导致js获取的id与雪花算法算出来的id不一致，如雪花算法得到的是36594866121080832，但是因为javascript丢失精度后只获取到36594866121080830， 这会导致对数据的所有操作都失效。

解决办法 后端的语言获取到雪花算法的id后将其转换为String类型，这样js也会当做字符串来处理，就不会丢失精度了

张星乾
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式ID生成之雪花算法详解
wjianwei666的专栏
03-05 815
这个实现同样遵循了雪花算法的基本结构，包括1位符号位、41位时间戳、10位机器标识（5位数据中心ID和5位工作机器ID）以及12位序列号。在分布式系统多节点的情况下，所有节点的时钟并不能保证不完全同步，所以有可能会出现不是全局递增的情况。机器 ID 位：适用于分布式环境下对多节点的各个节点进行标识，可以具体根据节点数和部署情况设计划分机器位 10 位长度，如划分5位表示进程位等。自增、有序、适合分布式场景，生成时不依赖于数据库，完全在内存中生成，每秒能生成数百万的自增 ID，存入数据库中，索引效率高。
分布式ID生成算法-雪花算法
彼岸舞的博客
11-15 2081
原因:为什么需要雪花算法 为什么需要分布式全局唯一ID以及分布式ID的业务需求？集群高并发情况下如何保证分布式唯一全局Id生成？ 在复杂分布式系统中，往往需婴对大量的数据和消息进行唯一标识，如在美团点评的金融、支付、餐饮、酒店，猫眼电影等产品的系统中数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息。特别一点的如订单、骑手、优惠券也都雷要有唯一ID做标识。此时一个能够生成全局...
flake-js:JavaScript 中的分布式唯一 ID 生成
07-20
Flake.js JavaScript 中的分布式唯一 id 生成
[纸上谈兵]雪花算法生成ID
知识搬运工
11-30 1万+
前言 我们的数据库在设计时一般有两个ID，自增的id为主键，还有一个业务ID使用UUID生成。自增id在需要分表的情况下做为业务主键不太理想，所以我们增加了uuid作为业务ID,有了业务id仍然还存在自增id的原因具体我也说不清楚，只知道和插入的性能以及db的要求有关。 我个人一直想将这两个ID换成一个字段来处理,所以要求这个id是数字类似的，且是趋抛增长的，这样mysql创建索引以及查询时性...
雪花算法改造失败导致ID重复问题分享
最新发布
本博客纯属个人网络笔记，如对阁下有用，甚喜；否则，关掉即可，不喜勿喷。专心写代码，不做键盘侠！
07-10 653
雪花算法改造失败导致ID重复问题分享，雪花算法，一听很简单嘛，ID 重复，单机几乎不可能的呀，怎么会重复呢？看看。
雪花算法生成id重复问题
爱琴孩的博客
01-31 4036
我们之前提到，同一机器同一毫秒级，我们能生成4096个不同序列，即不同Id，但是如果我们使用的是微服务架构，那不同机器人是否会可能生成相同Id呢？其实我们之前有提到工作机器Id的作用，就是用于解决分布式Id重复的问题，这个workerId是通过构造方法传入的，如果我们用10位来存储这个值，那就是最多支持1024个节点那么关键问题就回归到如何去把我们的服务器和workerId对应起来？
越过时针回拨的坑, 解决重启导致的雪花算法id重复问题, 文末附送踩坑总结大礼包
李昊轩的博客
07-14 4652
在上一篇文章中 通过PowerMockito来模拟时钟回拨, 验证改进版雪花算法是否起效 我们了解了什么是时针回拨, 怎样去解决它, 但是像雪花算法这种高性能的id生成器, 比较娇贵, 比如在我将这个算法投入到生产之前, 发现这个算法在重启之后再压测的时候, 会出现大量重复的id, 当时就猜测可能算法本身有一个记载状态的属性, 去读源码, 果然找到了, 这个属性叫epoch. Id重复发生原因: epoch对应该算法第一次初始化传入的时间, 也就是算法的生日~~ 因为这个epoch在每次启动的时候默认传入
雪花算法生成id重复的坑
欢迎来到 HsienChin 的博客
12-27 3292
雪花算法生成id重复的坑
分布式ID雪花算法的实现
04-20
分布式ID雪花算法的实现
分布式自增长ID-雪花算法
03-11
分布式自增长ID-雪花算法
分布式ID雪花算法 工具类.rar
08-19
分布式系统，全局唯一ID，高效，永不重复。相比较uuid，雪花id是按照时间有序生成的，方便sql优化
java 获取分布式唯一ID.雪花ID
02-10
总结来说，Java中获取分布式唯一ID可以通过实现雪花ID算法，例如`SnowflakeIdWorker`，它能提供时间序列的64位整数ID。同时，可以使用`UUID`生成字符串唯一ID，但不适用于分布式环境。而`IdUtils`中的方法可能是对...
.NET分布式雪花算法生成示例
04-13
总结来说，.NET分布式雪花算法是一种高效且实用的分布式ID生成方案，它结合了时间戳、工作节点标识和序列号，确保了ID的全局唯一性、有序性和高并发性。在.NET环境中，我们可以方便地实现并测试这种算法，以便在我们...
雪花算法id重复
京北游戏官方
03-13 5555
分布式系统机构下有一个必不可少的组件就是分布式id发号器，这个选择就比较多了，有uuid，美团开源的Leaf，有数据库自增序列，但是个人认为比较简单而且高效的方案就是推特开源的snowflake（雪花算法），并且现在也有应用比较广泛的工具类hutool的支持，使用方法相当简单但不幸的是，当服务器使用与NTP同步导致回退且回退时间小于两秒时，就可能造成id重复的问题。就这种小概率问题，我们的系统碰到了很多次。hutool工具类版本。
分布式id(3）— snowflake(雪花算法)的问题
weixin_49698553的博客
07-19 3202
我们算极端情况下，workerIdBits=10，即1024个节点的情况下，可以支持到两次发版中间第一个pod一直不重启，其余5个pod一直重启的极端情况下，也能支持204次。当时间回拨较大时，可以对序列化的初始值设置步长，每次触发时钟回拨事件，则其初始步长就加1w，可以在下面代码的第85行来实现，将sequence的初始值设置为10000。提到工作机器Id的作用，就是用于解决分布式Id重复的问题，这个workerId是通过构造方法传入的，如果我们用10位来存储这个值，那就是最多支持1024个节点。....
雪花算法ID重复的分析与在项目中的解决
qq_26786441的博客
04-07 1万+
雪花算法重复分析解决，lua
【项目中使用雪花算法出现重复id】
热门推荐
架构师干货
03-05 1万+
雪花算法大家都知道用在产生全局唯一id，但是如果这样使用会导致重复id生成。 雪花算法里面有一个workId和datacenterId，在单机部署用雪花算法，这2个可以随便填写，但是集群部署这2个乱写会出大问题！请往下面看 为什么雪花算法会重复？ 先看下雪花算法的组成，就知道为什么了。图片来源于网络： 说明：很多人以为它组成64位就是产生的id有64位数字，不是这样的，如果有疑惑可以看看二进制。 1bit：这一位不用，因为最高位是符号位，0表示正，1表示负，所以这里固定为0。 41bit：时间戳，服务上线
我在项目里用雪花算法搞了唯一ID生成，结果上线就引发了故障...
芋艿V
01-24 415
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
Mybatis Plus通过idworker解决雪花算法重复问题
Winn~
01-17 4993
华为云的服务器的/etc/hosts中都会生成一条 127.0.1.1 hostname的记录 ，导致获取network为null ,datacenterId 会取默认值1，导致重复概率大大增加。
分布式 id 雪花算法
08-18
分布式ID雪花算法（Distributed ID Snowflake Algorithm）是一种用于生成全局唯一ID的算法，它是对Snowflake算法的扩展和改进。 分布式ID雪花算法生成的ID是一个64位的整数，由以下几个部分组成： 1. 符号位（1位）：始终为0，用于保证生成的ID为正数。 2. 时间戳（41位）：记录生成ID的时间戳，精确到毫秒级，可以支持约69年的时间戳。 3. 数据中心ID（5位）：用于标识不同的数据中心，可以支持最多32个数据中心。 4. 机器ID（5位）：用于标识在同一数据中心中的不同机器，可以支持最多32台机器。 5. 序列号（12位）：在同一毫秒内生成的ID的序列号，可以支持每台机器每毫秒生成4096个ID。 分布式ID雪花算法通过将数据中心ID和机器ID作为参数传递给算法，实现了在分布式环境中生成全局唯一ID的能力。每个数据中心可以有多台机器，并且每台机器都有唯一的机器ID。 生成ID时，算法会使用当前时间戳、数据中心ID、机器ID和序列号来拼接生成ID。这样就保证了在分布式系统中生成的ID是全局唯一的。 分布式ID雪花算法具有较高的性能和可扩展性，并且生成的ID有序递增。因此，它被广泛应用于分布式系统中，用于唯一标识实体、资源或事件等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值