分布式中雪花算法

1. 背景

需要选择合适的方案去应对数据规模的增长，以应对逐渐增长的访问压力和数据量。 数据库的扩展方式主要包括：业务分库、主从复制，数据库分表。

2.数据库分表

概念：将不同业务数据分散存储到不同的数据库服务器，能够支撑百万甚至千万用户规模的业务， 但是随着业务的不断发展，同一个业务如果达到瓶颈，比如淘宝。如果全部都放在一张表中那么运算速度就会很慢，所以需要拆分

单表数据拆分的方式

• 垂直分表

• 水平分表

2.1垂直分表

概念：垂直分表适合将表中某些不常用且占了大量空间的列拆分出去。意思就是将那些不经常用的字段，例如（描述，个性签名，留言，星座等等）分成出去，将少部分经常用的数据保留，以便提高性能

水平分表

2.2水平分表

方式一：根据ID的范围来分段

例如按照1-1000000的范围大小进行分段，1-999999为表1，1000000-1999999为表2，依次类推

复杂点：分段大小的选取。分段太小会导致切分后子表数量过多，增加维护复杂度；分段太大可能会 导致单表依然存在性能问题，一般建议分段大小在 100 万至 2000 万之间，具体需要根据业务选取合适 的分段大小。 优点：可以随着数据的增加平滑地扩充新的表。例如，现在的用户是 100 万，如果增加到 1000 万， 只需要增加新的表就可以了，原有的数据不需要动。 缺点：分布不均匀。假如按照 1000 万来进行分表，有可能某个分段实际存储的数据量只有 1 条，而 另外一个分段实际存储的数据量有 1000 万条。

方式二：取模分表

按照X%10来进行划分数据的分类，例如x%10==1；为表1，x%10==2；为表二，依次类推

复杂点：初始表数量的确定。表数量太多维护比较麻烦，表数量太少又可能导致单表性能存在问题。 优点：表分布比较均匀。 缺点：扩充新的表很麻烦，所有数据都要重分布。

3.雪花算法

背景

雪花算法是由Twitter公布的分布式主键生成算法，它能够保证不同表的主键的不重复性，以及相同表的 主键的有序性。

结构图

核心思想

长度共64位（long类型）。

第一位为符号位（正数是0，负数是1）

1-42位位时间差，时间戳的概念，相当于69.73年

13-53位（5个数据中心，5个机器ID，可以部署在1024个节点）

64-76位为该区域的流水号

优点：整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞，并且效率较高。

总结：

• 随着用户量的增加，数据信息的迭代，导致空间不足的，所以我必须想办法解决

• 水平和垂直分表可以解决问题，但都有缺点

• 雪花算法可以更好解决分表带来的问题，并且有规律的展现

• 大厂现在都用雪花算法生成ID