Tinyid分布式亿级别ID生成系统-JAVA

最新推荐文章于 2023-05-22 12:32:36 发布
置顶 最新推荐文章于 2023-05-22 12:32:36 发布
阅读量2.6w 收藏 3
点赞数 6
分类专栏： JAVA 文章标签： ID生成系统 分布式 亿级别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qierkang/article/details/103189581
版权

Hello 同学们，在GitHub发现滴滴用Java开发的一款分布式id生成系统，很实用集合了多种类型，支持多种场景，适用于中大型项目。已经测试过&发布在个人测试平台

喜欢的研究的同学可以看看
Demo：ShowDoc接口文档
访问密码：tinyid
访问地址：https://id.qekang.com

Tinyid简介

Tinyid是用Java开发的一款分布式id生成系统，基于数据库号段算法实现，关于这个算法可以参考美团leaf或者tinyid原理介绍。Tinyid扩展了leaf-segment算法，支持了多db(master)，同时提供了java-client(sdk)使id生成本地化，获得了更好的性能与可用性。Tinyid在滴滴客服部门使用，均通过tinyid-client方式接入，每天生成亿级别的id。

性能与可用性

性能

http方式访问，性能取决于http server的能力，网络传输速度
java-client方式，id为本地生成，号段长度(step)越长，qps越大，如果将号段设置足够大，则qps可达1000w+

可用性

依赖db，当db不可用时，因为server有缓存，所以还可以使用一段时间，如果配置了多个db，则只要有1个db存活，则服务可用
使用tiny-client，只要server有一台存活，则理论上可用，server全挂，因为client有缓存，也可以继续使用一段时间

Tinyid的特性

全局唯一的long型id
趋势递增的id，即不保证下一个id一定比上一个大
非连续性
提供http和java client方式接入
支持批量获取id
支持生成1,3,5,7,9…序列的id
支持多个db的配置，无单点
适用场景:只关心id是数字，趋势递增的系统，可以容忍id不连续，有浪费的场景
不适用场景:类似订单id的业务(因为生成的id大部分是连续的，容易被扫库、或者测算出订单量)

依赖

JDK1.7+,maven,mysql, java client目前仅依赖jdk

示例

请参考getting start

推荐使用方式

tinyid-server推荐部署到多个机房的多台机器
多机房部署可用性更高，http方式访问需使用方考虑延迟问题
推荐使用tinyid-client来获取id，好处如下:
id为本地生成(调用AtomicLong.addAndGet方法)，性能大大增加
client对server访问变的低频，减轻了server的压力
因为低频，即便client使用方和server不在一个机房，也无须担心延迟
即便所有server挂掉，因为client预加载了号段，依然可以继续使用一段时间 注:使用tinyid-client方式，如果client机器较多频繁重启，可能会浪费较多的id，这时可以考虑使用http方式
推荐db配置两个或更多:
db配置多个时，只要有1个db存活，则服务可用 多db配置，如配置了两个db，则每次新增业务需在两个db中都写入相关数据

tinyid的原理

tinyid是基于数据库发号算法实现的，简单来说是数据库中保存了可用的id号段，tinyid会将可用号段加载到内存中，之后生成id会直接内存中产生。
可用号段在第一次获取id时加载，如当前号段使用达到一定量时，会异步加载下一可用号段，保证内存中始终有可用号段。
(如可用号段11000被加载到内存，则获取id时，会从1开始递增获取，当使用到一定百分比时，如20%(默认)，即200时，会异步加载下一可用号段到内存，假设新加载的号段是10012000,则此时内存中可用号段为2001000,10012000)，当id递增到1000时，当前号段使用完毕，下一号段会替换为当前号段。依次类推。
tinyid系统架构图
Code架构
在这里插入图片描述
下面是一些关于这个架构图的说明:

  • nextId和getNextSegmentId是tinyid-server对外提供的两个http接口
  • nextId是获取下一个id，当调用nextId时，会传入bizType，每个bizType的id数据是隔离的，生成id会使用该bizType类型生成的IdGenerator。
  • getNextSegmentId是获取下一个可用号段，tinyid-client会通过此接口来获取可用号段
    IdGenerator是id生成的接口
  • IdGeneratorFactory是生产具体IdGenerator的工厂，每个biz_type生成一个IdGenerator实例。通过工厂，我们可以随时在db中新增biz_type，而不用重启服务
  • IdGeneratorFactory实际上有两个子类IdGeneratorFactoryServer和IdGeneratorFactoryClient，区别在于，getNextSegmentId的不同，一个是DbGet,一个是HttpGet
  • CachedIdGenerator则是具体的id生成器对象，持有currentSegmentId和nextSegmentId对象，负责nextId的核心流程。nextId最终通过AtomicLong.andAndGet(delta)方法产生。
薯条大爹
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
TICK: Tiny Client for Blockchains
sgentle的博客
04-25 109
TICK: Tiny Client for Blockchains Zhang W , Yu J , He Q , et al. TICK: Tiny Client for Blockchains[J]. IEEE Internet of Things Journal, 2020, PP(99):1-1. WHY 当前的比特币中的轻量级客户端存在以下问题 虽然只存储所有区块的块头，但其所占用的存储空间也很大 轻量级客户端无法验证当前交易是否是UTXO 虽然有提出将所有的UTXO生成一个UTXO的Mer
分布式架构网上商城系统-分布式架构网上商城管理系统java代码-基于springboot的分布式架构网上商城系统-毕设项目代码
最新发布
03-30
分布式架构网上商城-分布式架构网上商城系统-分布式架构网上商城系统源码-分布式架构网上商城管理系统-分布式架构网上商城管理系统java代码-分布式架构网上商城系统设计与实现-基于springboot的分布式架构网上商城...
数据库MySQL详解
热门推荐
卓越无关环境，保持空杯心态——靡不有初，鲜克有终
07-24 17万+
全网最详细MySQL教程，2023持续更新中
可遇不可求的Question之MySqlClient访问tinyint字段返回布尔值篇
weixin_30387339的博客
12-10 56
症状: 使用MySqlClient访问tinyint unsign 字段返回布尔值 true 和 false,但是实际上该字段存储值为1-255分析: 由于在Mysql中没有布尔类型值，MySqlClient在访问tinyint类型字段时默认作为布尔值使用。 解决: 1.在连接串中增加 Treat Tiny As Boolean=false 配置. 2.对应字段在SQL语句中*...
分布式ID之滴滴Tinyid配置使用
一恍过去
02-12 1万+
分布式ID之滴滴Tinyid配置使用
分布式系统概念 | 分布式ID：数据库、号段模式、雪花算法（Snowflake）、Redis实现方案
凌桓丶的博客
04-06 1971
文章目录数据库号段模式雪花算法Redis 数据库 号段模式 雪花算法 Redis
分布式ID解决方案（一）数据库号段方式
weixin_39361197的博客
05-22 593
分布式ID、数据库主键自增方式，数据库号段方式
分布式 id 生成系统 滴滴 Tinyid 快速入门
蚩尤后裔-汪茂雄
12-29 3824
分布式 id 生成系统 Tinyid 概述 1、Tinyid 是滴滴用 Java 开发的一款分布式 id 生成系统，基于数据库号段算法实现，Tinyid 扩展了 leaf-segment 算法，支持了多db(master)，同时提供了 java-client(sdk) 使 id 生成本地化，获得了更好的性能与可用性。Tinyid 在滴滴客服部门使用，均通过 tinyid-client 方式接入，每天生成亿级别的 id。 2、Tinyid 特性如下：1）全局唯一的long型id、2）趋势递增的id(不保证
java生成唯一有序序列号_深度解密滴滴的高性能ID生成器(Tinyid)
weixin_39552286的博客
11-23 671
1、引言在中大型IM系统中，聊天消息的唯一ID生成策略是个很重要的技术点。不夸张的说，聊天消息ID贯穿了整个聊天生命周期的几乎每一个算法、逻辑和过程，ID生成策略的好坏有可能直接决定系统在某些技术点上的设计难易度。有中小型IM场景下，消息ID可以简单处理，反正只要唯一就行，而中大型场景下，因为要考虑到分布式的性能、一致性等，所以要考虑的问题点又是另一回事。总之就是，IM的消息ID生成这件事，可深可...
分布式架构网上商城-分布式架构网上商城系统-基于Web的分布式架构网上商城系统设计与实现-分布式架构网上商城管理系统java代码
03-30
分布式架构网上商城-分布式架构网上商城系统-分布式架构网上商城系统源码-分布式架构网上商城管理系统-分布式架构网上商城管理系统java代码-分布式架构网上商城系统设计与实现-基于springboot的分布式架构网上商城...
【开源项目】TinyId 全网最好的分布式ID生成系统的源码解析
秋装什么的博客
05-14 446
【开源项目】TinyId 全网最好的分布式ID生成系统的源码解析
分布式ID-号段模式
Leon_Jinhai_Sun的博客
10-23 1390
我们可以使用号段的方式来获取自增ID，号段可以理解成批量获取，比如DistributIdService从数据库获取ID时，如果能批量获取多个ID并缓存在本地的话，那样将大大提供业务应用获取ID的效率。 比如DistributIdService每次从数据库获取ID时，就获取一个号段，比如(1,1000]，这个范围表示了1000个ID，业务应用在请求DistributIdService提供ID时，DistributIdService只需要在本地从1开始自增并返回即可，而不需要每次都请求数据库，一直到本地自增到
jdbc 自增id 原理_Tinyid：滴滴开源千万级并发的分布式ID生成器
weixin_39560245的博客
11-20 327
Tinyid是一个ID生成器服务，它提供了REST API和Java客户端两种获取方式，如果使用Java客户端获取方式的话，官方宣称能单实例能达到1kwQPS(Over10 million QPSper single instance when using the java client)，我的妈呀！说明：Tinyid要求JDK是1.7+即可。GithubTinyid开源的Gith...
分布式ID生成方案总结整理
Nicky's blog
10-24 1458
对于单体系统来说，主键ID可能会常用主键自动的方式进行设置，这种ID生成方法在单体项目是可行的，但是对于分布式系统，分库分表之后，就不适应了，比如订单表数据量太大了，分成了多个库，如果还采用数据库主键自增的方式，就会出现在不同库id一致的情况，显然是不符合业务的
分布式ID
白T
08-27 709
支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单量，商业机密啊！除了高可用和并发之外，我们知道 Redis 基于内存，我们需要持久化数据，避免重启机器或者机器故障后数据丢失。就是基于这种方式来做的。数据库主键自增这种模式，每次获取 ID 都要访问一次数据库，ID 需求比较大的时候，肯定是不行的。在分库之后， 数据遍布在不同服务器上的数据库，数据库的自增主键已经没办法满足生成的主键唯一了。..
一口气说出 9种 分布式ID生成方式，面试官一脸懵
程序员内点事
02-16 1290
整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取 本文作者：程序员内点事 原文链接：https://mp.weixin.qq.com/s?__biz=MzAxNTM4NzAyNg 更多精选 3万字总结，Mysql优化之精髓 为了不复制粘贴，我被逼着学会了JAVA爬虫 技术部突然宣布：JAVA开发人员全部要会...
分布式id解决方案
zhiyikeji的博客
04-04 1万+
文章目录1.分布式id实现方案1.1.uuid1.2 数据库主键自增1.3 Redis自增1.4 号段模式1.5 雪花算法（snowflake）1.5.1 百度（uid-generator）1.5.2 美团（Leaf） 所谓id就是能够用作唯一标识的记号。 在我们日常的设计中，对于单体架构，我们一般使用数据库的自增Id来作为表的主键，但是对于一个分布式系统，就会出现ID冲突，所以对于分布式ID而言，也需要具备分布式系统的特点：高并发，高可用，高性能等特点。 1.分布式id实现方案 我们先看看常见的分布id解
滴滴开源的分布式id生成系统
weixin_48726650的博客
07-25 659
ID Generator id生成器 分布式id生成系统，简单易用、高性能、高可用的id生成系统 简介 Tinyid是用Java开发的一款分布式id生成系统，基于数据库号段算法实现，关于这个算法可以参考美团leaf或者tinyid原理介绍。Tinyid扩展了leaf-segment算法，支持了多db(master)，同时提供了java-client(sdk)使id生成本地化，获得了更好的性能与可用性。Tinyid在滴滴客服部门使用，均通过tinyid-client方式接入，每天生成亿级别的id。 tinyi
IDEA中pom文件变成蜘蛛图标了
薯条的博客
07-24 2万+
今天打开一看突然变成蜘蛛 图标了。不过jar包没问题。就是现在添加新的依赖没办法了。而且文件里面全部报错！ 解决办法： 选中文件右键选择 （原因是因为你可能按到快捷键或者改了文件属性 Mark as Xml） ...
分布式的ID生成算法java代码
09-21
### 回答1： 分布式ID生成算法是一种特殊的哈希算法，它可以使用Java代码来生成一个唯一的、全局递增的ID，这样可以避免ID发生重复。下面是一段可以用来生成分布式ID的Java代码： public static long generateId() { long currentTime = System.currentTimeMillis(); long nextId = (currentTime << 8) + getRandomNumber(0, 255); return nextId; }private static int getRandomNumber(int min, int max) { Random random = new Random(); return random.nextInt((max - min) + 1) + min; } ### 回答2： 分布式的ID生成算法在分布式系统中非常重要，用于生成唯一的标识符。Java语言提供了很多方法来实现这一目标，下面是一个使用Snowflake算法生成分布式ID的示例代码： ```java public class DistributedIdGenerator { private static final long EPOCH = 1609459200000L; // 自定义起始时间点，用于减小ID长度 private long workerId; private long sequence = 0L; private long lastTimestamp = -1L; public DistributedIdGenerator(long workerId) { if (workerId < 0L || workerId > 1023L) { throw new IllegalArgumentException("Worker ID must be between 0 and 1023."); } this.workerId = workerId; } public synchronized long generateId() { long currentTimestamp = System.currentTimeMillis(); if (currentTimestamp < lastTimestamp) { throw new RuntimeException("Clock moved backwards. Refusing to generate ID."); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1) & 4095; // 用位运算保证sequence不超过12位 if (sequence == 0) { currentTimestamp = nextMillis(lastTimestamp); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return ((currentTimestamp - EPOCH) << 22) | (workerId << 12) | sequence; } private long nextMillis(long lastTimestamp) { long timestamp = System.currentTimeMillis(); while (timestamp <= lastTimestamp) { timestamp = System.currentTimeMillis(); } return timestamp; } } ``` 上述代码中，使用Snowflake算法生成分布式ID。在构造方法中，传入一个workerId用于区分不同的分布式节点。generateId()方法加入了线程同步，在不同线程调用时可以保证生成的ID唯一性。生成的ID由三部分组成，即时间戳、worker ID和序列号。使用位运算进行位移和操作，保证ID的长度以及每个部分的取值范围。在运行过程中，如果发现系统的时间比上一次生成ID时的时间回退了，会抛出异常。如果当前时间戳与上一次相等，则增加序列号，否则重置序列号为0。返回的ID可以用于唯一标识分布式系统中的不同实体。 ### 回答3： 分布式的ID生成算法是为了解决多个节点之间生成唯一ID的问题。一个常见的分布式ID生成算法是Snowflake算法。 Snowflake算法是Twitter提出的一种算法，通过结合时间戳、机器ID和序列号来生成唯一的ID。下面是一个使用Java语言实现的简单示例代码： public class SnowflakeIdGenerator { private final long startTimeStamp = 1566769200000L; // 设置起始时间戳，例如2019-08-26 00:00:00 private final long machineIdBits = 5L; // 机器ID所占位数 private final long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器ID private final long sequenceBits = 12L; // 序列号所占位数 private final long machineIdShift = sequenceBits; // 机器ID左移位数 private final long timestampShift = sequenceBits + machineIdBits; // 时间戳左移位数 private final long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码 private long lastTimeStamp = -1L; private long sequenceId = 0L; private long machineId; public SnowflakeIdGenerator(long machineId) { if (machineId < 0 || machineId > maxMachineId) { throw new IllegalArgumentException("Invalid machineId. It must be between 0 and " + maxMachineId); } this.machineId = machineId; } public synchronized long generateId() { long currentTimeStamp = System.currentTimeMillis(); if (currentTimeStamp < lastTimeStamp) { throw new RuntimeException("Invalid system clock. Current timestamp is less than last timestamp."); } if (currentTimeStamp == lastTimeStamp) { sequenceId = (sequenceId + 1) & sequenceMask; if (sequenceId == 0) { currentTimeStamp = getNextTimeStamp(); } } else { sequenceId = 0L; } lastTimeStamp = currentTimeStamp; return ((currentTimeStamp - startTimeStamp) << timestampShift) | (machineId << machineIdShift) | sequenceId; } private long getNextTimeStamp() { long timeStamp = System.currentTimeMillis(); while (timeStamp <= lastTimeStamp) { timeStamp = System.currentTimeMillis(); } return timeStamp; } } 在使用时，可以创建一个SnowflakeIdGenerator对象，并传入机器ID，然后调用generateId()方法即可生成一个唯一的ID。例如： public class Main { public static void main(String[] args) { SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1); // 创建一个机器ID为1的ID生成器 long id = idGenerator.generateId(); // 生成唯一ID System.out.println(id); } } 这样就可以得到一个分布式环境下唯一的ID了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

薯条大爹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值