数据库分片

        

目录

分布式ID生成解决方案

1 UUID

2 Redis 生成 I D

3 开源算法 snowflake (雪花算法)

 snowflake 快速入门

1 快速入门

2 配置分布式ID生成器

---

如今随着互联网的发展，数据的量级也是呈指数的增长，从 GB 到 TB 到 PB 。对数据的 各种操作也是愈加的困难，如何解决这个问题呢？此时就需要做数据库集群，为了提高 查询性能将一个数据库的数据分散到不同的数据库中存储， 这就是我们通常所说的数据库分片。

        我们通常会使用 mycat 数据库中间件来解决。

 在每个数据库中的每个表，如果主键自增，id都是从1开始，mycat汇总所有数据时会冲突，所以不能设置自增，需要使用分布式 I D 生成方案。

分布式ID生成解决方案

1 UUID

常见的方式。 可以利用数据库也可以利用程序生成， 一般来说全球唯一。

优点：

1 ） 简单， 代码方便。

2 ） 生成 I D 性能非常好， 基本不会有性能问题。

3 ） 全球唯一， 在遇见数据迁移， 系统数据合并， 或者数据库变更等情况下， 可以从容应 对。

缺点：

1 ） 没有排序， 无法保证趋势递增。

2 ） UUID 往往是使用字符串存储， 查询的效率比较低。

3 ） 存储空间比较大， 如果是海量数据库， 就需要考虑存储量的问题。

4 ） 传输数据量大

5 ） 不可读。

2 Redis 生成 I D

当使用数据库来生成 I D 性能不够要求的时候， 我们可以尝试使用 Redis 来生成 I D 。 这主要 依赖于 Redis 是单线程的， 所以也可以用生成全局唯一的 I D 。 可以用 Redis 的原子操作 I NCR 和 I NCRBY 来实现。

优点：

1 ） 不依赖于数据库， 灵活方便， 且性能优于数据库。

2 ） 数字 I D 天然排序， 对分页或者需要排序的结果很有帮助。

缺点：

1 ） 如果系统中没有 Redis ， 还需要引入新的组件， 增加系统复杂度。

2 ） 需要编码和配置的工作量比较大。

3 ） 网络传输造成性能下降。

3 开源算法 snowflake (雪花算法)

snowflake 是 Twitter 开源的分布式 ID 生成算法， 结果是一个 long 型的 ID 。 其核心思想 是： 使用 41bit 作为毫秒数， 1 0bit 作为机器的 I D （ 5 个 bit 是数据中心， 5 个 bit 的机器 I D ） ， 1 2bit 作为毫秒内的流水号（意味着每个节点在每毫秒可以产生 4096 个 I D ） ， 最 后还有一个符号位， 永远是 0

 snowflake 快速入门

1 快速入门

（ 1 ） 将资料 / 工具类下的 IdWorker.java 拷贝到工程中。

百度网盘百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/disk/main#/index?category=all&path=%2Fjava%E5%AD%A6%E4%B9%A0%2F%E7%AC%AC5%E9%98%B6%E6%AE%B5%E2%80%94%E4%BC%81%E4%B8%9A%E7%BA%A7%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98%2F%E9%9D%92%E6%A9%99%E5%95%86%E5%9F%8E%2F%E8%B5%84%E6%96%99

（ 2 ） 编写代码

//无参构造
IdWorker idWorker=new IdWorker();
long id=idWorker.nextId();

//有参参构造，参数为工作中心id和数据中心id
IdWorker idWorker=new IdWorker(workerId,datacenterId);
long id=idWorker.nextId();

2 配置分布式ID生成器

（ 1 ） 将 IdWorker.java 拷贝到工程中

（ 2 ） 在工程 resources 下新增 applicationContext-service.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:context="http://www.springframework.org/schema/context"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd
	http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
	<context:property-placeholder location="classpath*:*.properties" />
	
	<!--雪花算法分布式id生成器-->
	<bean id="idWorker" class="com.qingcheng.util.IdWorker">
        <!--两个参数的设置-->
		<constructor-arg index="0" value="1"/>
		<constructor-arg index="1" value="1"/>
	</bean>
</beans>