分布式ID原理以及实践应用

最新推荐文章于 2024-03-19 17:52:31 发布
最新推荐文章于 2024-03-19 17:52:31 发布
阅读量485 收藏
点赞数
分类专栏： 分布式 Java中高级工程师面试热点知识 文章标签： 分布式 数据库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhiguoXue_IT/article/details/130140633
版权
本文介绍了分布式ID的重要性及其在订单号、数据库主键、幂等性消息和日志追踪中的应用。探讨了基于数据库、UUID和雪花算法的实现方式，重点解析了雪花算法的内部实现，包括时间戳、机器标识码和序列号。并讨论了UUID生成原理。文章还提出了确保雪花算法生成ID递增的方法，强调了时间同步的重要性。
摘要由CSDN通过智能技术生成

技术背景

在日常业务开发的时候，我们经常需要随机生成一个id，保证生成的id不重复，来进行区分。有些是需要生成递增的id，

技术应用场景

场景一：订单号生成

高并发的电商平台中，为了保证订单号的唯一性和顺序递增，分布式生成id作为订单号

场景二：数据库主键生成

数据库分库分表中，避免多个节点插入相同的主键值，使用分布式id生成不重复的主键

场景三：数据消息队列的幂等性

多次消费同一条消息不会产生副作用。使用分布式id可以标识每条消息的唯一性，避免消息被重复消费

场景四：日志的唯一标识

在分布式系统中，为了方便追踪和分析日志，可以使用分布式id作为每条日志的唯一标识

技术实现

一基于数据库

在一个数据库中创建一个唯一自增的序列，每次生成ID时向数据库中插入一条记录并获取ID，仅限于单机部署

二基于UUID

使用UUID算法对UUID进行生成，UUID在实现上使用了时间戳、计算机MAC地址和其他参数，保证了唯一性，但UUID过长，存储和传输成本较高

三雪花算法

使用一个64位的long类型的数字来表示生成的id，可以拆分为时间戳、节点ID和自增序列号三个部分，这种方式不需要进行网络通信，也不需要使用数据库支撑

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ZhiguoXue_IT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
分布式id那些事儿(建议收藏)
愿万事胜意
02-18 3729
分布式id在开发分布式系统中经常会用到，有必要了解
分布式原理源码解析
04-06
分布式原理源码解析是IT行业中一个深度探讨的主题，它涵盖了多个关键概念和技术，如分布式ID、分布式锁、分布式事务以及理论基础CAP和BASE等。在理解这些概念时，我们需要深入到源码层面，以获得更深入的理解。 ...
分布式ID使用场景及生成策略分析
py_tamir的博客
08-06 2940
1、分布式ID使用场景 互联网应用中，某个表可能要占用很大的物理存储空间，为了解决该问题，使用数据库分片技术。将一个数据库进行拆分，通过数据库中间件连接。如果数据库中该表选用ID自增策略，则可能产生重复的ID，此时应该使用分布式ID生成策略来生成ID。   2、分布式ID生成策略 方案一：UUID             可以生成32位、无序的数字。 缺点：太长，没办法排序 方案二：R...
分布式Id的5种应用场景
荣山的博客
03-22 520
分布式Id的5种应用场景
分布式集群架构场景化解决方案学习：分布式ID解决方案
小松de博客
10-14 226
1. 提出问题 为什么需要分布式ID(分布式集群环境下的全局唯⼀ID) 2. 解决方案 2.1 UUID 可以使用UUID UUID是指Universally Unique ldentifier，翻译为中文是通用唯一识别码 public class MyTest { public static void main(String[] args) { System.out.println(java.util.UUID.randomUUID().toString()); } } 2.2 独⽴数据库
浅谈分布式 ID 的实践与应用
netease_im的博客
01-11 214
导读：在业务系统中很多场景下需要生成不重复的 ID，比如订单编号、支付流水单号、优惠券编号等都需要使用到。文｜古德网易云信资深 JAVA 开发工程师本文将介绍分布式 ID 的产生原因，以...
分布式开放消息系统(RocketMQ)的原理与实践
01-27
本文将深入探讨RocketMQ的原理与实践，重点关注其顺序消息和消息重复处理机制。 **一、顺序消息** 顺序消息是指在消费消息时，确保消息按照特定的顺序被处理。例如，在电商场景中，订单的创建、支付和完成消息需要...
php redis setnx分布式锁简单原理解析
12-16
PHP与Redis结合可以轻松实现分布式锁，这里我们将深入探讨`setnx`命令在实现分布式锁中的作用以及其简单原理。 首先，`setnx`是Redis中的一个命令，全称为“Set if Not Exists”，即如果键(key)不存在，则设置键值...
从Paxos到Zookeeper 分布式一致性原理与实践 PDF电子书下载 带目录书签 完整版.pdf
05-09
分布式一致性原理与实践》，我们不仅了解了Paxos算法的基本思想以及其在解决分布式一致性问题上的重要作用，还深入了解了Zookeeper这一高效可靠的协调服务框架是如何在实际场景中应用这些理论知识的。无论是对于理论...
分布式系统技术——分布式ID原理与实战
庄小焱
12-18 967
摘要 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？ 全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 趋势递增：在MySQL InnoDB引擎中使用的是聚集
分布式场景业务方案:分布式ID方案总结
weixin_46300935的博客
12-24 688
分布式场景，分布式Id生成器，方案精讲！！！！！
分布式ID的使用
weixin_65692248的博客
03-03 1587
Leaf 最早期需求是各个业务线的订单ID生成需求。在美团早期，有的业务直接通过DB自增的方式生成ID，有的业务通过redis缓存来生成ID，也有的业务直接用UUID这种方式来生成ID。以上的方式各自有各自的问题，因此我们决定实现一套分布式ID生成服务来满足需求。（来自官网）我们会发现在获取id的时候，需要一个key，这个key实际就是数据库的biz_tag这个字段，代表着业务的标签。max_id就是这次请求拿到的id，step就是步长。假设此时数据库是 max_id = 1 , step = 20。
分布式ID详解
嘻哈熊的专栏
02-27 341
1. 背景 在我们的业务需求中通常有需要一些唯一的 ID，来记录我们某个数据的标识: 某个用户的 ID 某个订单的单号 某个信息的 ID 通常我们会调研各种各样的生成策略，根据不同的业务，采取最合适的策略，下面我会讨论一下各种策略 / 算法，以及他们的一些优劣点。 2.UUID UUID 是通用唯一识别码（Universally Unique Identifier)的缩写，开放软件基金会 (OSF) 规范定义了包括网卡 MAC 地址、时间戳、名字空间（Namespace）、随机或伪随机数、时
分布式集群架构场景优化解决方案：分布式ID解决方案
丿涛哥哥的博客
06-23 254
分布式集群架构场景优化解决方案：分布式ID解决方案 分布式ID解决方案 为什么需要分布式ID(分布式集群环境下的全局唯一ID) 1、UUID(可以用) UUID 是指Universally Unique Identifier，翻译为中文是通用唯一识别码 产生重复 UUID 并造成错误的情况非常低，是故大可不必考虑此问题。 import java.util.UUID; public class UuidTest { public static void main(String[] args) {
分布式ID
wy15036307139的博客
06-05 119
分布式ID需要满足的条件 1.全局唯一：必须保证ID是全局性唯一的，基本要求 2高性能：高可用低延时，ID生成响应要快，否则会成为业务瓶颈 3高可用：要使得可用性无线接近于100% 4好接入：根据拿来即用的设计原则，在系统设计和实现上要尽可能的简单 5趋势递增：根据具体业务场景进行设计，一般不严格要求 分布式ID生成方式：UUID、数据库自增ID、数据库多主模式、号段模式、雪花算法（SnowFlake)、Redis、滴滴出品（TinyID）、百度（Uidgenerator)、美团（Leaf)
分布式Id解决方案?
最新发布
qq_43345619的博客
03-19 827
场景：在互联网公司，对于高并发业务，一般的表主键都是采用数据库自增，即使采用分库分表，也是设置主键自增，原因是：一般表的主键不参与业务处理，比较常见的设计方式是业务表加一个业务唯一健，而且唯一健不能改变，其他业务表关联这个表的唯一键参与各种逻辑处理。在我们的业务需求中通常有需要一些唯一的ID，来标识某条数据，比如： 用户Id、订单号、活动编号，通常我们会调研各种各样的生成策略，根据不同的业务，采取最合适的策略，那分布式项目中生成分布式id的方法究竟有哪些吗？
分布式ID业界解决方案
热门推荐
寒泉
06-13 6万+
分布式ID 分布式 ID 唯一身份标识 类比身份证，引出分布式ID： AtomicInteger / AtomicLong 线程对外看是唯一的 资源征用的场景如何保证唯一：锁 乐观锁 / 悲观锁 解决目标 缓存+锁细粒度化+无锁，保证全局唯一即可 CAS也是一个悲观锁 下面方法基本都是互相借鉴的 基于UUID生成唯一ID 逻辑主键、物理主键：id是int自增主键，uuid是普通的varchar列 名字空间：国家-地区 不能使用IP代替MAC（局域网可以，广域网不行：NAT） 可以使用NAT转换
分布式ID总结
01-12 1121
分布式ID 生成的ID使用场景 几乎所有的业务系统，都有生成一个记录标识的需求，例如：messageid, orderid。这个记录标识往往就是数据库中的唯一主键，数据库上会建立聚集索引（cluster index），即在物理存储上以这个字段排序。 在数据量大时往往需要分库分表，这些ID经常作为取模分库分表的依据，为了分库分表后数据均匀，ID生成往往有“取模随机性”的需求，所以我们通常把每...
分布式全局唯一ID的实现
qq_35382207的博客
07-04 154
分布式全局唯一ID的实现 前言 上周末考完试，这周正好把工作整理整理，然后也把之前的一些素材，整理一番，也当自己再学习一番。 一方面正好最近看到几篇这方面的文章，另一方面也是正好工作上有所涉及，所以决定写一篇这样的文章。 先是简单介绍概念和现有解决方案，然后是我对这些方案的总结，最后是我自己项目的解决思路。 概念 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。 如在金融、电商、支付、等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID...
分布式数据库设计原理与应用详解
"该文档是关于‘第三章分布式数据库的设计’的PPT，涵盖了分布式数据库系统的基本原理和应用，详细介绍了设计策略、分片方法、分配设计以及设计目标等内容，适用于学习和参考。" 分布式数据库设计是信息技术领域中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhiguoXue_IT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值