目录
如今随着互联网的发展,数据的量级也是呈指数的增长,从 GB 到 TB 到 PB 。对数据的 各种操作也是愈加的困难,如何解决这个问题呢?此时就需要做数据库集群,为了提高 查询性能将一个数据库的数据分散到不同的数据库中存储, 这就是我们通常所说的数据库分片。
我们通常会使用 mycat 数据库中间件来解决。
在每个数据库中的每个表,如果主键自增,id都是从1开始,mycat汇总所有数据时会冲突,所以不能设置自增,需要使用分布式 I D 生成方案。
分布式ID生成解决方案
1 UUID
常见的方式。 可以利用数据库也可以利用程序生成, 一般来说全球唯一。
优点:
1 ) 简单, 代码方便。
2 ) 生成 I D 性能非常好, 基本不会有性能问题。
3 ) 全球唯一, 在遇见数据迁移, 系统数据合并, 或者数据库变更等情况下, 可以从容应 对。
缺点:
1 ) 没有排序, 无法保证趋势递增。
2 ) UUID 往往是使用字符串存储, 查询的效率比较低。
3 ) 存储空间比较大, 如果是海量数据库, 就需要考虑存储量的问题。
4 ) 传输数据量大
5 ) 不可读。
2 Redis 生成 I D
当使用数据库来生成 I D 性能不够要求的时候, 我们可以尝试使用 Redis 来生成 I D 。 这主要 依赖于 Redis 是单线程的, 所以也可以用生成全局唯一的 I D 。 可以用 Redis 的原子操作 I NCR 和 I NCRBY 来实现。
优点:
1 ) 不依赖于数据库, 灵活方便, 且性能优于数据库。
2 ) 数字 I D 天然排序, 对分页或者需要排序的结果很有帮助。
缺点:
1 ) 如果系统中没有 Redis , 还需要引入新的组件, 增加系统复杂度。
2 ) 需要编码和配置的工作量比较大。
3 ) 网络传输造成性能下降。
3 开源算法 snowflake (雪花算法)
snowflake 是 Twitter 开源的分布式 ID 生成算法, 结果是一个 long 型的 ID 。 其核心思想 是: 使用 41bit 作为毫秒数, 1 0bit 作为机器的 I D ( 5 个 bit 是数据中心, 5 个 bit 的机器 I D ) , 1 2bit 作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 I D ) , 最 后还有一个符号位, 永远是 0
snowflake 快速入门
1 快速入门
( 1 ) 将资料 / 工具类下的 IdWorker.java 拷贝到工程中。
( 2 ) 编写代码
//无参构造
IdWorker idWorker=new IdWorker();
long id=idWorker.nextId();
//有参参构造,参数为工作中心id和数据中心id
IdWorker idWorker=new IdWorker(workerId,datacenterId);
long id=idWorker.nextId();
2 配置分布式ID生成器
( 1 ) 将 IdWorker.java 拷贝到工程中
( 2 ) 在工程 resources 下新增 applicationContext-service.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
<context:property-placeholder location="classpath*:*.properties" />
<!--雪花算法分布式id生成器-->
<bean id="idWorker" class="com.qingcheng.util.IdWorker">
<!--两个参数的设置-->
<constructor-arg index="0" value="1"/>
<constructor-arg index="1" value="1"/>
</bean>
</beans>