分布式存储中,生成全局唯一ID的几种方案

1.自定义生成规则
    eg:
      3位服务器编码+15位年月日时分秒毫秒+3位表编码+4位随机码  (这样就完全单机完成编码任务)---共25位
      3位服务器编码+15位年月日时分秒毫秒+3位表编码+4流水码  (这样流水码就需要结合数据库和缓存)---共25位
2.单独开一个数据库,获取全局唯一的自增序列或个表的MaxId
      eg:
        Flickr 方案  --- http://blog.csdn.net/taotao4/article/details/46520053
        replace into + 奇偶2个数据库主键生成服务器(防止单点故障)

数据在分片时,典型的是分库分表,就有一个全局ID生成的问题。
单纯的生成全局ID并不是什么难题,但是生成的ID通常要满足分片的一些要求:
   1 不能有单点故障。
   2 以时间为序,或者ID里包含时间。这样一是可以少一个索引,二是冷热数据容易分离。
   3 可以控制ShardingId。比如某一个用户的文章要放在同一个分片内,这样查询效率高,修改也容易。
   4 不要太长,最好64bit。使用long比较好操作,如果是96bit,那就要各种移位相当的不方便,还有可能有些组件不能支持这么大的ID。

一 twitter 
twitter在把存储系统从MySQL迁移到Cassandra的过程中由于Cassandra没有顺序ID生成机制,于是自己开发了一套全局唯一ID生成服务:Snowflake。
1 41位的时间序列(精确到毫秒,41位的长度可以使用69年)
2 10位的机器标识(10位的长度最多支持部署1024个节点) 
3 12位的计数顺序号(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号) 最高位是符号位,始终为0。
优点:高性能,低延迟;独立的应用;按时间有序。 缺点:需要独立的开发和部署。

原理

时间戳

这里时间戳的细度是毫秒级,具体代码如下,建议使用64位linux系统机器,因为有vdso,gettimeofday()在用户态就可以完成操作,减少了进入内核态的损耗。

uint64_t generateStamp()
{
    timeval tv;
    gettimeofday(&tv, 0);
    return (uint64_t)tv.tv_sec * 1000 + (uint64_t)tv.tv_usec / 1000;
}

默认情况下有41个bit可以供使用,那么一共有T(1llu << 41)毫秒供你使用分配,年份 = T / (3600 * 24 * 365 * 1000) = 69.7年。如果你只给时间戳分配39个bit使用,那么根据同样的算法最后年份 = 17.4年。

工作机器ID

严格意义上来说这个bit段的使用可以是进程级,机器级的话你可以使用MAC地址来唯一标示工作机器,工作进程级可以使用IP+Path来区分工作进程。如果工作机器比较少,可以使用配置文件来设置这个id是一个不错的选择,如果机器过多配置文件的维护是一个灾难性的事情。

这里的解决方案是需要一个工作id分配的进程,可以使用自己编写一个简单进程来记录分配id,或者利用Mysql auto_increment机制也可以达到效果。

工作进程与工作id分配器只是在工作进程启动的时候交互一次,然后工作进程可以自行将分配的id数据落文件,下一次启动直接读取文件里的id使用。


PS:这个工作机器id的bit段也可以进一步拆分,比如用前5个bit标记进程id,后5个bit标记线程id之类:D

序列号

序列号就是一系列的自增id(多线程建议使用atomic),为了处理在同一毫秒内需要给多条消息分配id,若同一毫秒把序列号用完了,则“等待至下一毫秒”。

uint64_t waitNextMs(uint64_t lastStamp)
{
    uint64_t cur = 0;
    do {
        cur = generateStamp();
    } while (cur <= lastStamp);
    return cur;
}

总体来说,是一个很高效很方便的GUID产生算法,一个int64_t字段就可以胜任,不像现在主流128bit的GUID算法,即使无法保证严格的id序列性,但是对于特定的业务,比如用做游戏服务器端的GUID产生会很方便。另外,在多线程的环境下,序列号使用atomic可以在代码实现上有效减少锁的密度。


最高位是符号位,始终为0。

优点:高性能,低延迟;独立的应用;按时间有序。

缺点:需要独立的开发和部署。


java 实现代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java分布式唯一ID生成方案有很多种,其一种比较常用的方案是基于Snowflake算法的ID生成方案。 Snowflake算法是一种基于时间序列生成唯一ID的算法,它可以在分布式系统生成唯一的、有序的、趋势递增的ID。Snowflake算法生成ID是一个64位的整数,它的结构如下: ``` 0 - 41位时间戳 - 10位机器标识 - 12位序列号 ``` 其,时间戳占用了41位,可以表示2^41-1个数字,大约可以支持生成69年的ID;机器标识占用了10位,可以表示1023个不同的机器;序列号占用了12位,可以表示4095个不同的序列号。 Snowflake算法的实现比较简单,可以使用Java的AtomicLong类来实现序列号的自增。具体的实现可以参考下面的代码: ```java public class SnowflakeIdGenerator { private static final long START_TIMESTAMP = 1577808000000L; // 2020-01-01 00:00:00 private static final long MACHINE_ID_BITS = 10L; private static final long SEQUENCE_BITS = 12L; private static final long MACHINE_ID_OFFSET = SEQUENCE_BITS; private static final long TIMESTAMP_OFFSET = MACHINE_ID_BITS + SEQUENCE_BITS; private static final long MAX_MACHINE_ID = (1L << MACHINE_ID_BITS) - 1L; private static final long MAX_SEQUENCE = (1L << SEQUENCE_BITS) - 1L; private static long machineId = 0L; private static long sequence = 0L; private static long lastTimestamp = -1L; static { String machineName = ""; try { machineName = InetAddress.getLocalHost().getHostName(); } catch (UnknownHostException e) { e.printStackTrace(); } machineId = Math.abs(machineName.hashCode()) % MAX_MACHINE_ID; } public synchronized static long nextId() { long currentTimestamp = System.currentTimeMillis(); if (currentTimestamp < lastTimestamp) { throw new IllegalStateException("Clock moved backwards. Refusing to generate id"); } if (currentTimestamp == lastTimestamp) { sequence = (sequence + 1L) & MAX_SEQUENCE; if (sequence == 0L) { currentTimestamp = waitUntilNextMillis(currentTimestamp); } } else { sequence = 0L; } lastTimestamp = currentTimestamp; return ((currentTimestamp - START_TIMESTAMP) << TIMESTAMP_OFFSET) | (machineId << MACHINE_ID_OFFSET) | sequence; } private static long waitUntilNextMillis(long currentTimestamp) { while (currentTimestamp == lastTimestamp) { currentTimestamp = System.currentTimeMillis(); } return currentTimestamp; } } ``` 使用这个类可以生成全局唯一ID,可以在分布式系统使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值