SpringBoot集成ShardingSphere 实现分库分表（按我教程100%实现功能，查询请求1秒内）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• 一、pandas是什么？
• 二、使用步骤
  • 1.引入库
  • 2.读入数据
• 总结

---

前言

今年上半年，公司找外包做了一个项目，设备抄表的，刚开始倒是没有什么问题，但是运行几个月之后项目查询非常慢，时常服务崩溃。外包做完拍拍屁股走人了，后来我就接下了这个坑。

先说下项目基本配置：阿里云ECS 4核16GB，数据库自装mysql5.7数据库，单机版

---

针对查询慢，原因很多，我分析步骤如下：

1、sql语句过于复杂，恨不得一个sql实现所有的功能，立马进行拆分，对于简单查询类的尽量减少连表查询，可以适量使用冗余字段。

2、子查询过多，去掉子查询，改用其他方案实现业务，比如java代码实现

3、建立合适的索引，根据业务规则，建立独立索引，联合索引，优先考虑联合索引。

4、数据库参数优化（这个没有做，直接购买了阿里云RDS）

5、集成 ShardingSphere-jdbc（本文重点）

一、ShardingSphere是什么？

Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

官网地址：ShardingSphere

二、使用步骤

1.引入库

<dependency>
			<groupId>org.apache.shardingsphere</groupId>
			<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
			<version>4.1.1</version>
		</dependency>

2.配置properties

####################shardingsphere数据分片######################
spring.shardingsphere.datasource.names=ds0
#数据源配置
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root

#分表规则
spring.shardingsphere.sharding.tables.meter_reading_record.actual-data-nodes=ds0.meter_reading_record_$->{0..9}
spring.shardingsphere.sharding.tables.meter_reading_record.table-strategy.inline.sharding-column=meter_id
spring.shardingsphere.sharding.tables.meter_reading_record.table-strategy.inline.algorithm-expression=meter_reading_record_$->{meter_id % 10}
#主键分片策略
spring.shardingsphere.sharding.tables.meter_reading_record.key-generator.column=meter_id
spring.shardingsphere.sharding.tables.meter_reading_record.key-generator.type=SNOWFLAKE
#公共表
spring.shardingsphere.sharding.binding-tables=location,instrument,instrument_type
#是否打印SQL
spring.shardingsphere.props.sql.show=true
#支持范围查询
spring.shardingsphere.props.allow.range.query.with.inline.sharding=true

3、建立分库或分表的表

因为这个项目数据量巨大，每月大约400W，所有我分了10个表，具体多少合适，看你们自己项目的业务量。 

---

总结

这里就说一下，我集成过程中遇到的坑，然后怎么解决的，希望对广大朋友有帮助

1、sharding-jdbc是一个增强版的jdbc驱动，它实质上是对我们写的sql进行了包装解析，所以它有很多限制性，比如子查询不允许，你写了要么查询报错，要么查询出来结果不对没有数据。因为官方也没有给出解决方案，所以我是改写的sql，去掉子查询

2、注意版本和依赖问题，现在官网好像更新到5.0了。但是对应springboot的版本还有依赖的ant版本也要注意，我现在用的是4.1.1，对应的springboot是2.2.3，ant版本4.7。否则各种报启动错误，恶心。

3、分表的话不是越多越好，它的原理本来就是每个分库或分表查，然后统一汇总，你分多了，一样是性能低下。合适就好。

4、和mycat或sharding-proxy代理相比，各有优缺点，这里就不做比较了，我的推荐是如果你的业务不过复杂可以优先选择上面的代理，毕竟直接配置下就好；但是如果业务简单，没有复杂的sql业务可以选择shardingsphere-jdbc，因为这个直接和数据库交互，没有代理层，理论上性能更高些。

5、分库分表不应该作为数据量查询优化的最先选择，可以多试着优化sql和业务，实在不行再集成这个

6、对于不常用数据，不变化数据，做归档处理

7、如果还是查询慢，可以使用elasticsearch或者大数据的hbase（如果本文反响可以，可以出一个hbase手把手教程）