Sharding-JDBC分布式ID生成算法snowflake源码详细解读

最新推荐文章于 2024-08-03 17:20:45 发布
最新推荐文章于 2024-08-03 17:20:45 发布
阅读量6.9k 收藏 4
点赞数 2
分类专栏： 源码解读 文章标签： Sharding-JDBC SNOWFLAKE 分布式ID
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloworld365/article/details/89505260
版权
文章详细介绍了Twitter的SnowFlake分布式ID生成算法，并结合Sharding-JDBC的源码分析了其核心实现。SnowFlake算法通过64bit的long型数据生成全局唯一ID，Sharding-jdbc的SnowflakeShardingKeyGenerator类对此进行了实现。文中提到了WORKER_ID的设置及其与IP地址的关系，并建议读者可根据业务需求调整算法细节。同时，文章还提供了参考资料以供进一步学习。
摘要由CSDN通过智能技术生成

分布式ID生成算法的有很多种，Twitter的SnowFlake就是其中经典的一种。

Snowflake工作原理

对于分布式的ID生成，以Twitter Snowflake为代表的Flake 系列算法，属于划分命名空间并行生成的一种算法，生成的数据为64bit的long型数据，在数据库中应该用大于等于64bit的数字类型的字段来保存该值，比如在MySQL中应该使用BIGINT。

SnowFlake算法生成ID的结构如下图：

1     符号位             等于 0

41    时间戳             从 2016/11/01 零点开始的毫秒数，支持 2 ^41 /365/24/60/60/1000=69.7年

10    工作进程编号        支持 1024 个进程

12    序列号             每毫秒从 0 开始自增，支持 4096 个编号

Sharding-jdbc实现的雪花算法核心源码解读：

源码地址：https://github.com/apache/in

最低0.47元/天 解锁文章
ethan w.
关注
专栏目录
4. sharding-jdbc源码之分布式ID
阿飞Javaer的专栏
05-08 2669
阿飞Javaer，转载请注明原创出处，谢谢！ 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各大数据库对于该需求也提供了相应的支持，比如MySQL的自增键。 对于MySQL而言，分库分表之后，不同表生成全局唯一的Id是非常棘手的问题。因为同一个逻辑表内的不同实际表之间的自增键是无法互相感知的， 这样会造成重复Id的生成。我们当然可以通过约束表生成键的规则来达到数据的不重...
sharding-jdbc-demo:基于sharding-jdbc实现的各种分库分表、读写分离、柔性事务、分布式主键、分布式治理等示例，持续更新中。。
05-18
作者简介: Adam Lu(刘亚壮)，高级软件架构师，Java编程专家，开源分布式消息引擎Mysum发起者、首席架构师及开发者，Android开源消息组件Android-MQ独立作者，国内知名开源分布式数据库中间件Mycat核心架构师、开发者，精通Java, C, C++, Python, Hadoop大数据生态体系，熟悉MySQL、Redis内核，Android底层架构。多年来致力于分布式系统架构、微服务、分布式数据库、大数据技术的研究，曾主导过众多分布式系统、微服务及大数据项目的架构设计、研发和实施落地。在高并发、高可用、高可扩展性、高可维护性和大数据等领域拥有丰富的经验。对Hadoop、Spark、Storm等大数据框架源码进行过深度分析并具有丰富的实战经验。 作者联系方式 QQ：2711098650 项目简述 sharding-jdbc的各种实现示例，持续更新中。。。 项目结构简述
Sharding-Jdbc 分布式主键（雪花算法）
weixin_39195030的博客
05-24 2270
实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持，比如Mysql的自增键，Oracle的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手的问题。同一逻辑表内的不同实际表之间的自增键由于无法互相感知而生成重复主键。虽然可以通过约束主键自增长初始值和步长的方式来避免碰撞，但需引入额外的运维规则，使解决方案缺乏完整性和可扩展性。 目前有许多第三方解决方案可以完美解决这个问题，如UUID等依靠特定算法自生成不重复键，或者通过引入主键生成服务等。但也正
ShardingSphere中的ShardingJDBC常见分片算法的实现
最新发布
qq_44027353的博客
08-03 953
我们可以通过自定义分片算法，能够提前判断一些不合理的查询条件。就比如我当前status的值只有0和1，如果查询的时候status为3就根本没必要去查询数据库了。对于complex_inline复杂的分片算法，用一个简单的分片表达式也有点不太够用了。我们可以创建一个java类，实现ShardingSphere提供的接口 自己在java代码中写相应的分片策略COMPLEX->ComplexKeysShardingAlgorithm 这里就拿复杂的分片策略举例import com/**
【mk】sharding - Jdbc 分布式全局ID（雪花算法） Springboot 、 自定义分片策略
qiu7213的博客
09-02 2671
UUID SNOWFLAKE 雪花算法 UUID uuid是生成32位长的字符串，一般作为ID ，不建议使用 字符串作为主键 SNOWFLAKE 雪花算法 配置 1. 首先指定数据库中的哪个字段为主键 spring.shardingsphere.sharding.tables.shard.key-generator.column=id 2. 指定主键的生成策略 spring.shardingsphere.sharding.tables.shard.key-generato.
sharding jdbc 的雪花算法中的属性worker.id和max.vibration.offset
zhutao_java的专栏
07-13 5095
雪花算法生成的id总共64位8个字节，结构如下: 符号位 时间位 工作机器标识位 序列位 1位(固定位0) 41位 10位 12位 worker.id sharding jdbc 4.1.1使用雪花算法生成分布式id时，会使用到属性work.id表示机器标识位，取值范围[0,1024)，配置示例如下： sharding: tables: user: actual-data-nodes: ds$-..
SpringBoot 使用Sharding-JDBC进行分库分表及其分布式ID的生成
weixin_34290352的博客
07-17 636
为解决关系型数据库面对海量数据由于数据量过大而导致的性能问题时，将数据进行分片是行之有效的解决方案，而将集中于单一节点的数据拆分并分别存储到多个数据库或表，称为分库分表。 分库可以有效分散高并发量，分表虽然无法缓解并发量，但仅跨表仍然可以使用数据库原生的ACID事务。而一旦跨库，涉及到事务的问题就会变得无比复杂。 1.使用 pom.xml添加依赖： <dependency...
使用Sharding-JDBC实现分库分表
2401_84048179的博客
04-19 971
Sharding-JDBC是当当网研发的开源分布式数据库中间件，从 3.0 开始Sharding-JDBC被包含在 Sharding-Sphere中，之后该项目进入进入Apache孵化器，4.0版本之后的版本为Apache版本。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding- Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。
SpringBoot+Sharding-JDBC+MyBatisPlus进行多数据源分表操作
xiao799534951的博客
02-26 4796
springboot+Sharding-JDBC进行多数据源分表操作 文章目录springboot+Sharding-JDBC进行多数据源分表操作1.前言1.1什么是Sharding-JDBC？什么是分库分表？为什么要分库分表？可1.2关于个人学习的说明2.操作步骤2.2搭建环境2.3创建数据库2.4配置application.properties文件欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创
关于分库分表组件Sharding-JDBC入门与项目实战
gg7894125的博客
08-01 883
最近项目中不少表的数据量越来越大，并且导致了一些数据库的性能问题。因此想借助一些分库分表的中间件，实现自动化分库分表实现。调研下来，发现Sharding-JDBC目前成熟度最高并且应用最广的Java分库分表的客户端组件。本文主要介绍一些Sharding-JDBC核心概念以及生产环境下的实战指南，旨在帮助组内成员快速了解Sharding-JDBC并且能够快速将其使用起来。Sharding-JDBC官方文档 核心概念 在使用Sharding-JDBC之前，一定是先理解清楚下面几个核心概念。 逻辑表 水平拆分的数
Sharding-JDBC笔记02-Snowflake雪花算法实战
hecr_mingong的博客
03-27 2450
1.坑 分布式部署就需要分配不同的workId, 如果workId相同，可能会导致⽣成的id相同 分布式情况下，需要保证各个系统时间⼀致，如果服务器的时钟回拨，就会导致⽣成的 id 重复 2.解决方法 application.properties文件中配置wordId #配置workId spring.shardingsphere.sharding.tables.product_order.key-generator.props.work.id=1 雪花算法配置： 方法一：实体类配置雪花算法 @Dat
使用shardingJDBC中的雪花算法生成id
qq_36042938的博客
11-02 1027
使用sharding-jdbc中的使用IP后几位来做workId，但在某些情况下会出现生成重复ID的情况。分布式部署就需要分配不同的workId, 如果workId相同，可能会导致⽣成的id相同。分布式情况下，需要保证各个系统时间⼀致，如果服务器的时钟回拨，就会导致⽣成的 id 重复。方式二：使用Sharding-Jdbc配置文件，注释DO类里面的id分配策略。生成的 id 中包含有时间戳，所以生成的 id按照时间递增。部署了多台服务器，需要保证系统时间⼀样，机器编号不⼀样。
雪花算法源码详解
Ellen_Tangxiang的博客
08-13 1327
本源码基于3.1.0版本sharding-jdbc <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>3.1.0&lt...
上亿数据解决方案，SpringBoot整合Sharding Jdbc+Mysql，雪花算法做分布式主键
夏天的feng的博客
07-04 1278
SpringBoot整合 Sharding Jdbc Sharding Jdbc介绍 就是一款数据库中间件,可以做分库分表、读写分离专用 代码 package com.shard.jdbc.config; import io.shardingsphere.api.config.rule.ShardingRuleConfiguration; import io.shardingsphere.api.config.rule.TableRuleConfiguration; import io.shardingsp
从sharding-jdbc看如何解决雪花算法的时钟回拨问题
weixin_43831204的博客
12-16 1918
https://mp.weixin.qq.com/s?__biz=MzU0OTE4MzYzMw==&mid=2247494475&idx=3&sn=a0d3a5918f70cb331546951fd11bbd85&chksm=fbb162b5ccc6eba3e56343b9df21f535994a6b41c1f73644f79190e523fd8eca88c189b8c5ec&mpshare=1&scene=1&srcid=1216Cs473kkMjC
Twitter的分布式自增ID算法snowflake
公子的专栏
02-27 4059
结构 snowflake的结构如下(每部分用-分开): 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 第一位为未使用，接下来的41位为毫秒级时间(41位的长度可以使用69年)，然后是5位datacenterId和5位workerId(10位的长度最多支持部署1024
【踩坑】ShardingJdbc实现自动生成主键时，根据雪花算法生成的主键值存放在别的字段上了
MS_SONG的博客
12-22 691
ShardingJdbc实现自动生成主键时，根据雪花算法生成的主键值存放在别的字段上了
shardingjdbc 5.0.0配置雪花算法及自定义算法id生成
liaomingwu的专栏
11-30 4044
有两种配置方式，一种是使用系统提供的雪花算法，另一种是使用自定义的算法。
Sharding-JDBC：Java分布式数据库中间件的轻量级解决方案
Sharding-JDBC是一款由Apache ShardingSphere开源生态系统中的关键组件，它是一款针对Java开发者的轻量级数据分片解决方案。作为JDBC层的扩展，Sharding-JDBC以jar包的形式提供服务，无需额外部署，兼容JDBC和多种...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值