浅谈唯一ID算法SnowFlake和SonyFlake

最新推荐文章于 2024-05-11 09:55:31 发布
最新推荐文章于 2024-05-11 09:55:31 发布
阅读量2.8k 收藏 2
点赞数
分类专栏： 工作日志 文章标签： 算法 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helen920318/article/details/104952814
版权

电商大促时，短时间内有大量订单涌入到系统，在这种高并发的情况下，我们需要给这些订单先打上一个唯一ID，再入数据库，而且还希望这个唯一ID能带上时间信息。这就是我们本文的snowflake唯一ID算法的作用，雪花算法snowflake是Twitter公司提出的唯一ID算法，广泛应用在各种业务系统中，而由snowflake的启发，衍生出很多改进算法，比如索尼公司的sonyflake算法。

SnowFlake算法

                                                           datacenter_id          sequence_id
unused
                                                                  │                     │
   │                                                              │                     │
   │                                                              │                     │
   │  │                                                      │    │                     │
   │  │                                                      │    │                     │
   ▼  │◀──────────────────    41 bits   ────────────────────▶│    ▼                     ▼
┌─────┼──────────────────────────────────────────────────────┼────────┬────────┬────────────────┐
│  0  │ 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0  │ 00000  │ 00000  │ 0000 0000 0000 │
└─────┴──────────────────────────────────────────────────────┴────────┴────────┴────────────────┘
                                  ▲                                        ▲
                                  │                                        │
                                  │                                        │
                                  │                                        │
                                  │                                        │
                                  │                                        │
                                  │                                        │

                        time in milliseconds                          worker_id

如图所示为snowflake算法使用的一个64 bit的整型数据，被划分为四部分。

  1. 不含开头的第一个bit，因为是符号位；
  2. 41bit来表示收到请求时的时间戳，精确到1毫秒；
  3. 5bit表示数据中心的id， 5bit表示机器实例id
  4. 共计10bit的机器位，因此能部署在1024台机器节点上生成ID；
  5. 12bit循环自增序列号，增至最大后归0，1毫秒最大生成唯一ID的数量是4096个。

这种机制下，timestamp的41位可以支持我们使用69年。同一台机器下，同一毫秒产生2^12=4096条消息，一秒就是409.6w条消息。且可以部署1024台机器实例。

SonyFlake算法

sonyflake算法是索尼公司基于snowflake改进的一个分布式唯一ID生成算法。基本思路和snowflake一致，不过位分配上略有不同。

+-----------------------------------------------------------------------------+
| 1 Bit Unused | 39 Bit Timestamp |  8 Bit Sequence ID  |   16 Bit Machine ID |
+-----------------------------------------------------------------------------+

这里时间戳用39位精确到10ms，所以可以达到174年，比snowflake的长很久。
8bit 做为序列号，每10毫最大生成256个，1秒最多生成25600个，比原生的Snowflake少好多，如果感觉不够用，目前的解决方案是跑多个实例生成同一业务的ID来弥补。

16bit 做为机器号，默认的是当前机器的私有IP的最后两位。

总结

对比两种算法，感觉sonyflake对于snowflake的改进有些像是用空间换时间，时间戳位数减少，以从69年升至174年。但是1秒最多生成的ID从409.6w降至2.56w条。

所以在我们实际的业务场景下，需要根据高并发的需求来进行选择。

程序员早早
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式ID生成器及snowflake(雪花)算法实现
qq_47664976的博客
01-26 1933
分布式ID的特点 全局唯一性：不能出现有重复的ID标识，这是基本要求。 递增性：确保生成ID对用户或业务都是递增的。 高可用性：确保任何时候都能生成正确的ID。 高性能性：在高并发的环境下依旧表现良好。 分布式ID生成器不仅仅用于生成用户ID,实际互联网中有很多场景都需要能够生成类似MYSQL自增ID这样不断增大，同时又不会重复的ID，以支持业务中的高并发场景。 比较经典的场景有：电商促销时短时间会有大量的订单涌入到系统，比如每秒10w+；微博热搜在短时间会产生大量的相关微博转发和评论信息。在这些业务环
sonyflake源码解读
你是魔鬼吧
05-20 1108
网上大多数文章都只是说了snowflake或sonyflake的原理，但好像都没有多少是对源码的解读，对于初学者来说还需要多一些从别的角度去学习这个算法的思想，所以写了这篇文章，尝试从源码的角度去理解这个算法 sonyflake官方说了是受Twitter的Snowflake启发而衍生的分布式唯一ID生成算法。 目录结构 既然我们是从源码的角度去学习，那么就要先了解清楚这个包的目录结构是如何的。 能看得出来，整个包的文件数都是非常少的，非常精简 ├── awsutil │ └── aw
sonyflake, 一种通过 Twitter的雪花激发的分布式唯一of发生器.zip
09-18
sonyflake, 一种通过 Twitter的雪花激发的分布式唯一of发生器 Sonyflake Sonyflake是一个分布唯一ID发生器激发的雪花的Twitter 。一个 Sonyflake ID由39 bits for time in units of 10 msec 8 b
探索Sonyflake：分布式唯一ID生成器的强力选择
最新发布
gitblog_00090的博客
05-11 369
探索Sonyflake：分布式唯一ID生成器的强力选择 项目地址:https://gitcode.com/sony/sonyflake 1. 项目介绍 Sonyflake是一个强大的分布式唯一ID生成系统，其灵感来源于Twitter的Snowflake。这个开源项目设计了独特的ID结构，以适应多主机和多核环境下的高效运行。Sonyflake在保证生命周期和性能的同时，提供了灵活的配置选项，使得它在...
snowflake改进_一文带你了解雪花算法 Snowflake & Sonyflake
weixin_35639451的博客
12-24 406
唯一ID算法Snowflake相信大家都不墨生，他是Twitter公司提出来的算法。非常广泛的应用在各种业务系统里。也因为Snowflake的灵活性和缺点，对他的改造层出不穷，比百度的UidGenerator、美团的Leaf、索尼的Sonyflake等等。这篇帖子主要是讲一下原生的Snowflake算法、缺点及改造方案，并分析索尼的Sonyflake源码对原生Snowflake的改造，原生Snow...
indigo:使用Sonyflake并由Base58编码的分布式唯一ID生成器
05-24
靛青 关于 使用Sonyflake并由Base58编码的分布式唯一ID生成器。 ID最大长度为11个字符，无符号int64最大值。 编码器可以更改您的原始编码器;） 安装 $ go get -u github.com/osamingo/indigo 用法 package main import ( "log" "sync" "time" "github.com/osamingo/indigo" ) var g * indigo. Generator func init () { t := time . Unix ( 1257894000 , 0 ) // 2009-11-10 23:00:00 UTC g = indigo . New ( nil , indigo . StartTime ( t )) _ , err := g . NextID () if err !
【记录】Golang分布式ID生成-SonyFlake
dnice的博客
04-26 3899
介绍 使用 核心代码 package id_generator import ( "math/rand" "sync" "time" "github.com/sony/sonyflake" ) var sf *sonyflake.Sonyflake var rg = struct { sync.Mutex rand *rand.Rand }{ rand: rand.New(rand.NewSource(time.Now().UnixNano())), }
雪花算法逆推创建时间
weixin_43914306的博客
07-05 742
雪花算法逆推时间
snoyflake 线上 panic
蜂蜜味的哈士奇
11-29 493
sonyflake 线上 panic
分布式id生成器
Carter的程序人生
05-27 417
有时我们需要能够生成类似MySQL自增ID这样不断增大，同时又不会重复的id。以支持业务中的高并发场景。比较典型的，电商促销时，短时间内会有大量的订单涌入到系统，比如每秒10w+。明星出轨时，会有大量热情的粉丝发微博以表心意，同样会在短时间内产生大量的消息。 在插入数据库之前，我们需要给这些消息、订单先打上一个ID，然后再插入到我们的数据库。对这个id的要求是希望其中能带有一些时间信息，这样即使...
golang学习之go web 开发
weixin_56349119的博客
08-10 5824
go web request response go cookie redis 实现 session go html模板
基于雪花算法生成用户id
qq_39657702的博客
09-07 3919
基于雪花算法生成用户id
sonyflake.go
weixin_30408309的博客
09-01 291
// Package sonyflake implements Sonyflake, a distributed unique ID generator inspired by Twitter's Snowflake.//第一位为未使用（实际上也可作为long的符号位），接下来的41位为毫秒级时间，然后5位datacenter标识位，5位机器ID（并不算标识符，实际是为线程标识），然后12位该毫秒...
分布式唯一id：snowflake算法思考
weixin_34192732的博客
02-11 584
匠心零度 转载请注明原创出处，谢谢！ 缘起 为什么会突然谈到分布式唯一id呢？原因是最近在准备使用RocketMQ，看看官网介绍： 一句话，消息可能会重复，所以消费端需要做幂等。为什么消息会重复后续RocketMQ章节进行详细介绍，本节重点不在这里。 为了达到业务的幂等，必须要有这样一个id存在，需要满足下面几个条件： 同一业务场景要全局唯一。 该id必须是在消息的发送方进行产生发送到MQ...
snowflake和snoyflake雪花算法以及golang实现
地瓜的博客
07-16 1657
snowflake和snoyflake雪花算法学习与go实现 预备知识： Monotonic Clocks，即单调时间，所谓单调，就是只会不停的往前增长，不受校时操作的影响，这个时间是自进程启动以来的秒数 参考文章：https://www.simpleapples.com/2018/10/26/understand-time-struct-in-go/ 雪花算法是twitter开源的在分布式环境下生成的唯一id生成算法。 1 推特雪花算法源码解读 推特雪花算法标准格式如下： id 是64位整型的 +--
雪花算法 Snowflake & Sonyflake
jx69693678nab的博客
12-31 249
唯一ID算法Snowflake相信大家都不墨生，他是Twitter公司提出来的算法。非常广泛的应用在各种业务系统里。也因为Snowflake的灵活性和缺点，对他的改造层出不穷，比百度的UidGenerator、美团的Leaf、索尼的Sonyflake等等。这篇帖子主要是讲一下原生的Snowflake算法、缺点及改造方案，并分析索尼的Sonyflake源码对原生Snowflake的改造， 原生Sn...
使用 Snowflake 算法生成唯一id 写个案例 使用java
05-26
Snowflake算法是Twitter开源的分布式ID生成算法，可以生成64位的唯一ID，其中包含了时间戳、数据中心ID和机器ID等信息。以下是使用Java实现Snowflake算法的示例代码： ```java public class SnowflakeIdGenerator { // 起始的时间戳 private final static long START_TIMESTAMP = 1480166465631L; // 每一部分占用的位数 private final static long SEQUENCE_BIT = 12; // 序列号占用的位数 private final static long MACHINE_BIT = 5; // 机器标识占用的位数 private final static long DATACENTER_BIT = 5;// 数据中心占用的位数 // 每一部分的最大值 private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT); private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT); private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT); // 每一部分向左的位移 private final static long MACHINE_LEFT = SEQUENCE_BIT; private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT; private final static long TIMESTAMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT; private final long datacenterId; // 数据中心 private final long machineId; // 机器标识 private long sequence = 0L; // 序列号 private long lastTimestamp = -1L; // 上一次时间戳 public SnowflakeIdGenerator(long datacenterId, long machineId) { if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) { throw new IllegalArgumentException("Dtaacenter Id can't be greater than MAX_DATACENTER_NUM or less than 0"); } if (machineId > MAX_MACHINE_NUM || machineId < 0) { throw new IllegalArgumentException("Machine Id can't be greater than MAX_MACHINE_NUM or less than 0"); } this.datacenterId = datacenterId; this.machineId = machineId; } /** * 产生下一个ID */ public synchronized long nextId() { long currentTimestamp = getTimestamp(); if (currentTimestamp < lastTimestamp) { throw new RuntimeException("Clock moved backwards. Refusing to generate id"); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1) & MAX_SEQUENCE; if (sequence == 0L) { currentTimestamp = getNextTimestamp(); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return (currentTimestamp - START_TIMESTAMP) << TIMESTAMP_LEFT // 时间戳部分 | datacenterId << DATACENTER_LEFT // 数据中心部分 | machineId << MACHINE_LEFT // 机器标识部分 | sequence; // 序列号部分 } private long getNextTimestamp() { long currentTimestamp = getTimestamp(); while (currentTimestamp <= lastTimestamp) { currentTimestamp = getTimestamp(); } return currentTimestamp; } private long getTimestamp() { return System.currentTimeMillis(); } } ``` 使用示例： ```java public static void main(String[] args) { SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1, 1); for (int i = 0; i < 10; i++) { System.out.println(idGenerator.nextId()); } } ``` 输出结果： ``` 1602327530754 1602327530755 1602327530756 1602327530757 1602327530758 1602327530759 1602327530760 1602327530761 1602327530762 1602327530763 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值