1 数据切分方法
数据切分主要有两种方式:
1. 水平切分:
优点:
解决了单库大数据,高并发的性能瓶颈
拆分规则封装好,对应用端几乎透明,开发人员无需关心拆分细节
提高了系统的稳定性和负载能力
缺点:
拆分规则很难抽象
分片事物一致性难以解决
二次扩展时,数据迁移,维护难度大
1. 2. 垂直切分:
优点:
拆分后业务清晰,拆分规则明确
系统之间容易扩展和整合
数据维护简单
缺点:
部分业务表无法join,只能通过接口调用,提升了系统的复杂度
跨库事务难以处理
如果某些业务数据过于庞大,仍然存在单体性能瓶颈
不管垂直切分还是水平切分都有如下问题:
- 分布式的事物问题
- 跨库join的问题
- 多源数据的管理问题
2 多源数据管理方法
主要有两种方法:
- 中间代理模式:MyCat
- 客户端模式:sharding-jdbc
3 sharding-jdbc使用(官网)
MyCat作为一种代理中间件平时更多的是公司运维人员在操作,所以理解不多。这里主要讲下用到较多的sharding-jdbc
1 配置pom依赖
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.0.0-RC2</version>
</dependency>
2 分库配置,创建文件application.properties
#声明数据源
spring.shardingsphere.datasource.names=ds0,ds1
# 数据库1配置
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbcUrl=jdbc:mysql://ip:3306/employees
spring.shardingsphere.datasource.ds0.username=123
spring.shardingsphere.datasource.ds0.password=456
# 数据库2配置
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbcUrl=jdbc:mysql://ip:3306/foodie-shop
spring.shardingsphere.datasource.ds1.username=123
spring.shardingsphere.datasource.ds1.password=456
# 逻辑表获取 ms$->{0..1}.t_order_$->{1..2} 表示:库名.表明
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order_$->{1..2}
# 数据库的分库规则
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id % 2}
# 表的分片规则
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{order_id % 2 + 1}
#spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
#spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.precise-algorithm-class-name=com.example.shardingjdbcdemo.sharding.MySharding
# 广播表设置
# 全局表数据量少,跟大数据量表查询时避免跨库
spring.shardingsphere.sharding.broadcast-tables=area
# mybatis位置配置
mybatis.mapper-locations=/mybatis/*.xml
logging.pattern.dateformat=HH:mm:ss
3 编写测试了
@RunWith(SpringRunner.class)
@SpringBootTest
public class ShardingJdbcDemoApplicationTests {
@Resource
private OrderMapper orderMapper;
@Test
public void contextLoads(){
}
@Test
public void testOrder() {
Order order = new Order();
order.setOrderId(4L);
order.setUserId(15);
order.setOrderAmount(BigDecimal.TEN);
order.setOrderStatus(1);
orderMapper.insertSelective(order);
Order order2 = new Order();
order2.setOrderId(3L);
order2.setUserId(16);
order2.setOrderAmount(BigDecimal.TEN);
order2.setOrderStatus(1);
orderMapper.insertSelective(order2);
}
}
注意:进行数据库操作时将表名改成逻辑表的名称,不是用数据库的表明!!!