数据库读写分离,分库分表

1 数据切分方法

数据切分主要有两种方式:
1. 水平切分:

优点
    解决了单库大数据,高并发的性能瓶颈
    拆分规则封装好,对应用端几乎透明,开发人员无需关心拆分细节
    提高了系统的稳定性和负载能力
缺点:
    拆分规则很难抽象
    分片事物一致性难以解决
    二次扩展时,数据迁移,维护难度大

1. 2. 垂直切分:

优点:
    拆分后业务清晰,拆分规则明确
    系统之间容易扩展和整合
    数据维护简单
缺点:
    部分业务表无法join,只能通过接口调用,提升了系统的复杂度
    跨库事务难以处理
    如果某些业务数据过于庞大,仍然存在单体性能瓶颈
不管垂直切分还是水平切分都有如下问题:

  1. 分布式的事物问题
  2. 跨库join的问题
  3. 多源数据的管理问题

2 多源数据管理方法

主要有两种方法:
  1. 中间代理模式:MyCat
  2. 客户端模式:sharding-jdbc

3 sharding-jdbc使用(官网

MyCat作为一种代理中间件平时更多的是公司运维人员在操作,所以理解不多。这里主要讲下用到较多的sharding-jdbc

1 配置pom依赖

<dependency>
	<groupId>org.apache.shardingsphere</groupId>
	<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
 	<version>4.0.0-RC2</version>
</dependency>

2 分库配置,创建文件application.properties

#声明数据源
spring.shardingsphere.datasource.names=ds0,ds1          

# 数据库1配置
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbcUrl=jdbc:mysql://ip:3306/employees
spring.shardingsphere.datasource.ds0.username=123
spring.shardingsphere.datasource.ds0.password=456

# 数据库2配置
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbcUrl=jdbc:mysql://ip:3306/foodie-shop
spring.shardingsphere.datasource.ds1.username=123
spring.shardingsphere.datasource.ds1.password=456

# 逻辑表获取  ms$->{0..1}.t_order_$->{1..2} 表示:库名.表明
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order_$->{1..2}
# 数据库的分库规则
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id % 2}
# 表的分片规则
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{order_id % 2 + 1}
#spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
#spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.precise-algorithm-class-name=com.example.shardingjdbcdemo.sharding.MySharding


# 广播表设置
# 全局表数据量少,跟大数据量表查询时避免跨库
spring.shardingsphere.sharding.broadcast-tables=area

# mybatis位置配置
mybatis.mapper-locations=/mybatis/*.xml

logging.pattern.dateformat=HH:mm:ss


3 编写测试了

@RunWith(SpringRunner.class)
@SpringBootTest
public class ShardingJdbcDemoApplicationTests {

    @Resource
    private OrderMapper orderMapper;


    @Test
    public void contextLoads(){

    }

    @Test
    public void testOrder() {
        Order order = new Order();
        order.setOrderId(4L);
        order.setUserId(15);
        order.setOrderAmount(BigDecimal.TEN);
        order.setOrderStatus(1);
        orderMapper.insertSelective(order);

        Order order2 = new Order();
        order2.setOrderId(3L);
        order2.setUserId(16);
        order2.setOrderAmount(BigDecimal.TEN);
        order2.setOrderStatus(1);
        orderMapper.insertSelective(order2);
    }
}


注意:进行数据库操作时将表名改成逻辑表的名称,不是用数据库的表明!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值